EMO: Emote Portrait Alive — Создание выразительных портретных видео с помощью аудио-видео диффузионной модели в условиях слабого контроля
EMO: Emote Portrait Alive - Generating Expressive Portrait Videos with Audio2Video Diffusion Model under Weak Conditions
February 27, 2024
Авторы: Linrui Tian, Qi Wang, Bang Zhang, Liefeng Bo
cs.AI
Аннотация
В данной работе мы решаем задачу повышения реалистичности и выразительности в генерации видео с говорящими головами, сосредоточившись на динамической и тонкой взаимосвязи между аудиосигналами и мимическими движениями. Мы выявляем ограничения традиционных методов, которые часто не способны охватить весь спектр человеческих выражений и уникальность индивидуальных черт лица. Для решения этих проблем мы предлагаем EMO — новый фреймворк, использующий подход прямого синтеза видео из аудио, минуя необходимость в промежуточных 3D-моделях или лицевых ориентирах. Наш метод обеспечивает плавные переходы между кадрами и сохранение идентичности на протяжении всего видео, что приводит к созданию высоко выразительных и реалистичных анимаций. Экспериментальные результаты демонстрируют, что EMO способен генерировать не только убедительные видео с речью, но и видео с пением в различных стилях, значительно превосходя существующие передовые методики по показателям выразительности и реалистичности.
English
In this work, we tackle the challenge of enhancing the realism and
expressiveness in talking head video generation by focusing on the dynamic and
nuanced relationship between audio cues and facial movements. We identify the
limitations of traditional techniques that often fail to capture the full
spectrum of human expressions and the uniqueness of individual facial styles.
To address these issues, we propose EMO, a novel framework that utilizes a
direct audio-to-video synthesis approach, bypassing the need for intermediate
3D models or facial landmarks. Our method ensures seamless frame transitions
and consistent identity preservation throughout the video, resulting in highly
expressive and lifelike animations. Experimental results demonsrate that EMO is
able to produce not only convincing speaking videos but also singing videos in
various styles, significantly outperforming existing state-of-the-art
methodologies in terms of expressiveness and realism.