DreamHuman: Avatar 3D Animabili da Testo

DreamHuman: Animatable 3D Avatars from Text

June 15, 2023

Autori: Nikos Kolotouros, Thiemo Alldieck, Andrei Zanfir, Eduard Gabriel Bazavan, Mihai Fieraru, Cristian Sminchisescu

cs.AI

Abstract

Presentiamo DreamHuman, un metodo per generare modelli realistici e animabili di avatar umani 3D partendo esclusivamente da descrizioni testuali. I recenti metodi di generazione da testo a 3D hanno compiuto progressi significativi, ma presentano ancora carenze in aspetti importanti. Il controllo e spesso la risoluzione spaziale rimangono limitati, i metodi esistenti producono modelli 3D umani statici anziché animati, e la coerenza antropometrica per strutture complesse come le persone rimane una sfida. DreamHuman integra modelli di sintesi da testo a immagine di grandi dimensioni, campi di radianza neurale e modelli statistici del corpo umano in un nuovo framework di modellazione e ottimizzazione. Ciò rende possibile generare avatar umani 3D dinamici con texture di alta qualità e deformazioni superficiali specifiche per ogni istanza, apprese durante il processo. Dimostriamo che il nostro metodo è in grado di generare una vasta gamma di modelli umani 3D realistici e animabili a partire da testo. I nostri modelli 3D presentano un'ampia varietà di aspetto, abbigliamento, tonalità della pelle e forme del corpo, superando significativamente sia gli approcci generici da testo a 3D che i precedenti generatori di avatar 3D basati su testo in termini di fedeltà visiva. Per ulteriori risultati e animazioni, consultate il nostro sito web all'indirizzo https://dream-human.github.io.

English

We present DreamHuman, a method to generate realistic animatable 3D human avatar models solely from textual descriptions. Recent text-to-3D methods have made considerable strides in generation, but are still lacking in important aspects. Control and often spatial resolution remain limited, existing methods produce fixed rather than animated 3D human models, and anthropometric consistency for complex structures like people remains a challenge. DreamHuman connects large text-to-image synthesis models, neural radiance fields, and statistical human body models in a novel modeling and optimization framework. This makes it possible to generate dynamic 3D human avatars with high-quality textures and learned, instance-specific, surface deformations. We demonstrate that our method is capable to generate a wide variety of animatable, realistic 3D human models from text. Our 3D models have diverse appearance, clothing, skin tones and body shapes, and significantly outperform both generic text-to-3D approaches and previous text-based 3D avatar generators in visual fidelity. For more results and animations please check our website at https://dream-human.github.io.