Один снимок, один разговор: Аватар, общающийся всем телом, созданный из одного изображения.

One Shot, One Talk: Whole-body Talking Avatar from a Single Image

December 2, 2024

Авторы: Jun Xiang, Yudong Guo, Leipeng Hu, Boyang Guo, Yancheng Yuan, Juyong Zhang

cs.AI

Аннотация

Построение реалистичных и анимируемых аватаров по-прежнему требует минут многокамерных или монокулярных видеороликов с поворотом вокруг себя, и большинство методов не обладают точным контролем над жестами и выражениями. Для расширения границ в этой области мы решаем задачу создания аватара, говорящего всем телом, по одному изображению. Мы предлагаем новый конвейер, который решает две критические проблемы: 1) сложное динамическое моделирование и 2) обобщение на новые жесты и выражения. Для достижения плавного обобщения мы используем недавние модели диффузии изображения в видео с управлением позой для генерации неидеальных видеокадров в качестве псевдо-меток. Чтобы преодолеть проблему динамического моделирования, вызванную несогласованными и шумными псевдо-видео, мы представляем тесно связанное гибридное представление аватара 3DGS-сетка и применяем несколько ключевых регуляризаций для смягчения несоответствий, вызванных неидеальными метками. Обширные эксперименты на различных объектах показывают, что наш метод позволяет создавать фотореалистичных, точно анимируемых и выразительных аватаров, говорящих всем телом, всего лишь по одному изображению.

English

Building realistic and animatable avatars still requires minutes of multi-view or monocular self-rotating videos, and most methods lack precise control over gestures and expressions. To push this boundary, we address the challenge of constructing a whole-body talking avatar from a single image. We propose a novel pipeline that tackles two critical issues: 1) complex dynamic modeling and 2) generalization to novel gestures and expressions. To achieve seamless generalization, we leverage recent pose-guided image-to-video diffusion models to generate imperfect video frames as pseudo-labels. To overcome the dynamic modeling challenge posed by inconsistent and noisy pseudo-videos, we introduce a tightly coupled 3DGS-mesh hybrid avatar representation and apply several key regularizations to mitigate inconsistencies caused by imperfect labels. Extensive experiments on diverse subjects demonstrate that our method enables the creation of a photorealistic, precisely animatable, and expressive whole-body talking avatar from just a single image.