DreamHuman: Animierbare 3D-Avatare aus Text

DreamHuman: Animatable 3D Avatars from Text

June 15, 2023

Autoren: Nikos Kolotouros, Thiemo Alldieck, Andrei Zanfir, Eduard Gabriel Bazavan, Mihai Fieraru, Cristian Sminchisescu

cs.AI

Zusammenfassung

Wir stellen DreamHuman vor, eine Methode zur Erzeugung realistischer, animierbarer 3D-Mensch-Avatarmodelle ausschließlich aus textuellen Beschreibungen. Aktuelle Text-zu-3D-Methoden haben zwar erhebliche Fortschritte in der Generierung gemacht, weisen jedoch weiterhin wichtige Defizite auf. Die Kontrolle und oft auch die räumliche Auflösung bleiben begrenzt, bestehende Methoden erzeugen statische statt animierte 3D-Menschmodelle, und die anthropometrische Konsistenz für komplexe Strukturen wie Menschen bleibt eine Herausforderung. DreamHuman verbindet große Text-zu-Bild-Synthesemodelle, neurale Strahlungsfelder und statistische Körpermodelle in einem neuartigen Modellierungs- und Optimierungsframework. Dies ermöglicht die Generierung dynamischer 3D-Menschavatare mit hochwertigen Texturen und gelernten, instanzspezifischen Oberflächendeformationen. Wir zeigen, dass unsere Methode in der Lage ist, eine Vielzahl animierbarer, realistischer 3D-Menschmodelle aus Text zu erzeugen. Unsere 3D-Modelle weisen eine vielfältige Erscheinung, Kleidung, Hauttöne und Körperformen auf und übertreffen sowohl generische Text-zu-3D-Ansätze als auch frühere textbasierte 3D-Avatargeneratoren deutlich in der visuellen Qualität. Für weitere Ergebnisse und Animationen besuchen Sie bitte unsere Website unter https://dream-human.github.io.

English

We present DreamHuman, a method to generate realistic animatable 3D human avatar models solely from textual descriptions. Recent text-to-3D methods have made considerable strides in generation, but are still lacking in important aspects. Control and often spatial resolution remain limited, existing methods produce fixed rather than animated 3D human models, and anthropometric consistency for complex structures like people remains a challenge. DreamHuman connects large text-to-image synthesis models, neural radiance fields, and statistical human body models in a novel modeling and optimization framework. This makes it possible to generate dynamic 3D human avatars with high-quality textures and learned, instance-specific, surface deformations. We demonstrate that our method is capable to generate a wide variety of animatable, realistic 3D human models from text. Our 3D models have diverse appearance, clothing, skin tones and body shapes, and significantly outperform both generic text-to-3D approaches and previous text-based 3D avatar generators in visual fidelity. For more results and animations please check our website at https://dream-human.github.io.