DreamHuman: Animeerbare 3D-avatars vanuit tekst

DreamHuman: Animatable 3D Avatars from Text

June 15, 2023

Auteurs: Nikos Kolotouros, Thiemo Alldieck, Andrei Zanfir, Eduard Gabriel Bazavan, Mihai Fieraru, Cristian Sminchisescu

cs.AI

Samenvatting

We presenteren DreamHuman, een methode om realistische, animeerbare 3D-menselijke avatar-modellen te genereren uitsluitend op basis van tekstuele beschrijvingen. Recente tekst-naar-3D-methoden hebben aanzienlijke vooruitgang geboekt in generatie, maar schieten nog tekort in belangrijke aspecten. Controle en vaak ook ruimtelijke resolutie blijven beperkt, bestaande methoden produceren vaste in plaats van geanimeerde 3D-menselijke modellen, en antropometrische consistentie voor complexe structuren zoals mensen blijft een uitdaging. DreamHuman verbindt grote tekst-naar-beeld-synthesemodellen, neurale stralingsvelden en statistische lichaamsmodellen in een nieuw modelleer- en optimalisatiekader. Hierdoor wordt het mogelijk om dynamische 3D-menselijke avatars te genereren met hoogwaardige texturen en geleerde, exemplaarspecifieke oppervlaktevervormingen. We demonstreren dat onze methode in staat is om een breed scala aan animeerbare, realistische 3D-menselijke modellen uit tekst te genereren. Onze 3D-modellen hebben een diverse verschijning, kleding, huidskleuren en lichaamsvormen, en overtreffen zowel generieke tekst-naar-3D-benaderingen als eerdere tekstgebaseerde 3D-avatargeneratoren aanzienlijk in visuele kwaliteit. Voor meer resultaten en animaties kunt u onze website bezoeken op https://dream-human.github.io.

English

We present DreamHuman, a method to generate realistic animatable 3D human avatar models solely from textual descriptions. Recent text-to-3D methods have made considerable strides in generation, but are still lacking in important aspects. Control and often spatial resolution remain limited, existing methods produce fixed rather than animated 3D human models, and anthropometric consistency for complex structures like people remains a challenge. DreamHuman connects large text-to-image synthesis models, neural radiance fields, and statistical human body models in a novel modeling and optimization framework. This makes it possible to generate dynamic 3D human avatars with high-quality textures and learned, instance-specific, surface deformations. We demonstrate that our method is capable to generate a wide variety of animatable, realistic 3D human models from text. Our 3D models have diverse appearance, clothing, skin tones and body shapes, and significantly outperform both generic text-to-3D approaches and previous text-based 3D avatar generators in visual fidelity. For more results and animations please check our website at https://dream-human.github.io.