DreamHuman: テキストから生成可能なアニメーション対応3Dアバター

DreamHuman: Animatable 3D Avatars from Text

June 15, 2023

著者: Nikos Kolotouros, Thiemo Alldieck, Andrei Zanfir, Eduard Gabriel Bazavan, Mihai Fieraru, Cristian Sminchisescu

cs.AI

要旨

私たちは、テキスト記述のみから現実的なアニメーション可能な3D人間アバターモデルを生成する方法であるDreamHumanを紹介します。最近のテキストから3Dを生成する手法は大きな進歩を遂げていますが、重要な側面でまだ不足しています。制御性や空間解像度は依然として限られており、既存の手法は固定された3D人間モデルを生成するだけで、アニメーション可能なモデルではありません。また、人間のような複雑な構造における人体計測の一貫性は依然として課題です。DreamHumanは、大規模なテキストから画像を合成するモデル、ニューラルラジアンスフィールド、統計的人体モデルを新たなモデリングと最適化フレームワークで結びつけます。これにより、高品質なテクスチャとインスタンス固有の表面変形を学習した動的な3D人間アバターを生成することが可能になります。私たちの手法が、テキストから多様なアニメーション可能で現実的な3D人間モデルを生成できることを実証します。私たちの3Dモデルは、多様な外見、服装、肌の色、体型を持ち、一般的なテキストから3Dを生成するアプローチや以前のテキストベースの3Dアバター生成器を視覚的な忠実度で大幅に上回ります。さらなる結果やアニメーションについては、私たちのウェブサイトhttps://dream-human.github.ioをご覧ください。

English

We present DreamHuman, a method to generate realistic animatable 3D human avatar models solely from textual descriptions. Recent text-to-3D methods have made considerable strides in generation, but are still lacking in important aspects. Control and often spatial resolution remain limited, existing methods produce fixed rather than animated 3D human models, and anthropometric consistency for complex structures like people remains a challenge. DreamHuman connects large text-to-image synthesis models, neural radiance fields, and statistical human body models in a novel modeling and optimization framework. This makes it possible to generate dynamic 3D human avatars with high-quality textures and learned, instance-specific, surface deformations. We demonstrate that our method is capable to generate a wide variety of animatable, realistic 3D human models from text. Our 3D models have diverse appearance, clothing, skin tones and body shapes, and significantly outperform both generic text-to-3D approaches and previous text-based 3D avatar generators in visual fidelity. For more results and animations please check our website at https://dream-human.github.io.