DreamHuman: Анимируемые 3D-аватары из текста

DreamHuman: Animatable 3D Avatars from Text

June 15, 2023

Авторы: Nikos Kolotouros, Thiemo Alldieck, Andrei Zanfir, Eduard Gabriel Bazavan, Mihai Fieraru, Cristian Sminchisescu

cs.AI

Аннотация

Представляем DreamHuman — метод генерации реалистичных анимируемых 3D-моделей человеческих аватаров исключительно на основе текстовых описаний. Современные методы преобразования текста в 3D добились значительных успехов в генерации, но всё ещё имеют существенные ограничения. Контроль и часто пространственное разрешение остаются ограниченными, существующие методы создают статичные, а не анимируемые 3D-модели людей, а обеспечение антропометрической согласованности для сложных структур, таких как человек, остаётся сложной задачей. DreamHuman объединяет крупные модели синтеза изображений из текста, нейронные поля излучения и статистические модели человеческого тела в рамках новой моделирующей и оптимизационной структуры. Это позволяет создавать динамические 3D-аватары с высококачественными текстурами и изученными, специфичными для конкретного экземпляра, деформациями поверхности. Мы демонстрируем, что наш метод способен генерировать широкий спектр анимируемых, реалистичных 3D-моделей людей из текста. Наши 3D-модели обладают разнообразным внешним видом, одеждой, оттенками кожи и формами тела, значительно превосходя как общие подходы преобразования текста в 3D, так и предыдущие генераторы 3D-аватаров на основе текста по визуальной точности. Для получения дополнительных результатов и анимаций посетите наш сайт по адресу https://dream-human.github.io.

English

We present DreamHuman, a method to generate realistic animatable 3D human avatar models solely from textual descriptions. Recent text-to-3D methods have made considerable strides in generation, but are still lacking in important aspects. Control and often spatial resolution remain limited, existing methods produce fixed rather than animated 3D human models, and anthropometric consistency for complex structures like people remains a challenge. DreamHuman connects large text-to-image synthesis models, neural radiance fields, and statistical human body models in a novel modeling and optimization framework. This makes it possible to generate dynamic 3D human avatars with high-quality textures and learned, instance-specific, surface deformations. We demonstrate that our method is capable to generate a wide variety of animatable, realistic 3D human models from text. Our 3D models have diverse appearance, clothing, skin tones and body shapes, and significantly outperform both generic text-to-3D approaches and previous text-based 3D avatar generators in visual fidelity. For more results and animations please check our website at https://dream-human.github.io.