DreamHuman: Avatares 3D Animáveis a partir de Texto

DreamHuman: Animatable 3D Avatars from Text

June 15, 2023

Autores: Nikos Kolotouros, Thiemo Alldieck, Andrei Zanfir, Eduard Gabriel Bazavan, Mihai Fieraru, Cristian Sminchisescu

cs.AI

Resumo

Apresentamos o DreamHuman, um método para gerar modelos realistas de avatares humanos 3D animáveis a partir de descrições textuais. Métodos recentes de texto-para-3D fizeram avanços consideráveis na geração, mas ainda carecem em aspectos importantes. O controle e, frequentemente, a resolução espacial permanecem limitados, os métodos existentes produzem modelos humanos 3D fixos em vez de animados, e a consistência antropométrica para estruturas complexas como pessoas continua sendo um desafio. O DreamHuman conecta grandes modelos de síntese de imagem a partir de texto, campos de radiação neural e modelos estatísticos do corpo humano em uma nova estrutura de modelagem e otimização. Isso torna possível gerar avatares humanos 3D dinâmicos com texturas de alta qualidade e deformações de superfície específicas para cada instância, aprendidas durante o processo. Demonstramos que nosso método é capaz de gerar uma ampla variedade de modelos humanos 3D realistas e animáveis a partir de texto. Nossos modelos 3D possuem aparência diversificada, roupas, tons de pele e formas corporais, e superam significativamente tanto as abordagens genéricas de texto-para-3D quanto os geradores de avatares 3D baseados em texto anteriores em termos de fidelidade visual. Para mais resultados e animações, visite nosso site em https://dream-human.github.io.

English

We present DreamHuman, a method to generate realistic animatable 3D human avatar models solely from textual descriptions. Recent text-to-3D methods have made considerable strides in generation, but are still lacking in important aspects. Control and often spatial resolution remain limited, existing methods produce fixed rather than animated 3D human models, and anthropometric consistency for complex structures like people remains a challenge. DreamHuman connects large text-to-image synthesis models, neural radiance fields, and statistical human body models in a novel modeling and optimization framework. This makes it possible to generate dynamic 3D human avatars with high-quality textures and learned, instance-specific, surface deformations. We demonstrate that our method is capable to generate a wide variety of animatable, realistic 3D human models from text. Our 3D models have diverse appearance, clothing, skin tones and body shapes, and significantly outperform both generic text-to-3D approaches and previous text-based 3D avatar generators in visual fidelity. For more results and animations please check our website at https://dream-human.github.io.