DreamHuman: Avatares 3D animables a partir de texto

DreamHuman: Animatable 3D Avatars from Text

June 15, 2023

Autores: Nikos Kolotouros, Thiemo Alldieck, Andrei Zanfir, Eduard Gabriel Bazavan, Mihai Fieraru, Cristian Sminchisescu

cs.AI

Resumen

Presentamos DreamHuman, un método para generar modelos realistas de avatares humanos 3D animables únicamente a partir de descripciones textuales. Los métodos recientes de texto a 3D han logrado avances considerables en la generación, pero aún carecen de aspectos importantes. El control y, a menudo, la resolución espacial siguen siendo limitados, los métodos existentes producen modelos humanos 3D fijos en lugar de animados, y la consistencia antropométrica para estructuras complejas como las personas sigue siendo un desafío. DreamHuman conecta modelos de síntesis de imágenes a partir de texto a gran escala, campos de radiancia neural y modelos estadísticos del cuerpo humano en un marco novedoso de modelado y optimización. Esto hace posible generar avatares humanos 3D dinámicos con texturas de alta calidad y deformaciones de superficie específicas de la instancia aprendidas. Demostramos que nuestro método es capaz de generar una amplia variedad de modelos humanos 3D realistas y animables a partir de texto. Nuestros modelos 3D tienen apariencias, vestimentas, tonos de piel y formas corporales diversas, y superan significativamente tanto a los enfoques genéricos de texto a 3D como a los generadores de avatares 3D basados en texto anteriores en fidelidad visual. Para más resultados y animaciones, visite nuestro sitio web en https://dream-human.github.io.

English

We present DreamHuman, a method to generate realistic animatable 3D human avatar models solely from textual descriptions. Recent text-to-3D methods have made considerable strides in generation, but are still lacking in important aspects. Control and often spatial resolution remain limited, existing methods produce fixed rather than animated 3D human models, and anthropometric consistency for complex structures like people remains a challenge. DreamHuman connects large text-to-image synthesis models, neural radiance fields, and statistical human body models in a novel modeling and optimization framework. This makes it possible to generate dynamic 3D human avatars with high-quality textures and learned, instance-specific, surface deformations. We demonstrate that our method is capable to generate a wide variety of animatable, realistic 3D human models from text. Our 3D models have diverse appearance, clothing, skin tones and body shapes, and significantly outperform both generic text-to-3D approaches and previous text-based 3D avatar generators in visual fidelity. For more results and animations please check our website at https://dream-human.github.io.