DreamHuman : Avatars 3D animables à partir de texte

DreamHuman: Animatable 3D Avatars from Text

June 15, 2023

Auteurs: Nikos Kolotouros, Thiemo Alldieck, Andrei Zanfir, Eduard Gabriel Bazavan, Mihai Fieraru, Cristian Sminchisescu

cs.AI

Résumé

Nous présentons DreamHuman, une méthode permettant de générer des modèles réalistes d'avatars humains 3D animables uniquement à partir de descriptions textuelles. Les méthodes récentes de génération de texte vers 3D ont fait des progrès considérables, mais elles présentent encore des lacunes importantes. Le contrôle et souvent la résolution spatiale restent limités, les méthodes existantes produisent des modèles 3D humains fixes plutôt qu'animés, et la cohérence anthropométrique pour des structures complexes comme les humains reste un défi. DreamHuman intègre des modèles de synthèse d'images à partir de texte, des champs de radiance neuronaux et des modèles statistiques du corps humain dans un cadre de modélisation et d'optimisation novateur. Cela permet de générer des avatars humains 3D dynamiques avec des textures de haute qualité et des déformations de surface spécifiques à chaque instance, apprises par le modèle. Nous démontrons que notre méthode est capable de générer une grande variété de modèles humains 3D réalistes et animables à partir de texte. Nos modèles 3D présentent une diversité d'apparence, de vêtements, de tons de peau et de formes corporelles, et surpassent significativement à la fois les approches génériques de texte vers 3D et les générateurs d'avatars 3D basés sur le texte précédents en termes de fidélité visuelle. Pour plus de résultats et d'animations, veuillez consulter notre site web à l'adresse https://dream-human.github.io.

English

We present DreamHuman, a method to generate realistic animatable 3D human avatar models solely from textual descriptions. Recent text-to-3D methods have made considerable strides in generation, but are still lacking in important aspects. Control and often spatial resolution remain limited, existing methods produce fixed rather than animated 3D human models, and anthropometric consistency for complex structures like people remains a challenge. DreamHuman connects large text-to-image synthesis models, neural radiance fields, and statistical human body models in a novel modeling and optimization framework. This makes it possible to generate dynamic 3D human avatars with high-quality textures and learned, instance-specific, surface deformations. We demonstrate that our method is capable to generate a wide variety of animatable, realistic 3D human models from text. Our 3D models have diverse appearance, clothing, skin tones and body shapes, and significantly outperform both generic text-to-3D approaches and previous text-based 3D avatar generators in visual fidelity. For more results and animations please check our website at https://dream-human.github.io.