DreamHuman: 텍스트로부터 생성 가능한 애니메이션 3D 아바타

초록

우리는 텍스트 설명만으로부터 사실적인 애니메이션 가능한 3D 인간 아바타 모델을 생성하는 방법인 DreamHuman을 소개합니다. 최근의 텍스트-투-3D 방법들은 생성 측면에서 상당한 진전을 이루었지만, 여전히 중요한 측면에서 부족함이 있습니다. 제어와 공간 해상도는 여전히 제한적이며, 기존 방법들은 고정된 3D 인간 모델을 생성할 뿐 애니메이션 가능한 모델을 생성하지 못합니다. 또한, 사람과 같은 복잡한 구조에 대한 인체 측정학적 일관성은 여전히 과제로 남아 있습니다. DreamHuman은 대규모 텍스트-투-이미지 합성 모델, 신경 방사 필드(NeRF), 그리고 통계적 인체 모델을 새로운 모델링 및 최적화 프레임워크로 연결합니다. 이를 통해 고품질 텍스처와 인스턴스별로 학습된 표면 변형을 갖춘 동적 3D 인간 아바타를 생성할 수 있습니다. 우리의 방법이 텍스트로부터 다양한 애니메이션 가능한 사실적인 3D 인간 모델을 생성할 수 있음을 보여줍니다. 우리의 3D 모델은 다양한 외모, 의상, 피부톤 및 체형을 가지며, 일반적인 텍스트-투-3D 접근법과 이전의 텍스트 기반 3D 아바타 생성기를 시각적 충실도 측면에서 크게 능가합니다. 더 많은 결과와 애니메이션을 보려면 https://dream-human.github.io 웹사이트를 방문해 주세요.

English

We present DreamHuman, a method to generate realistic animatable 3D human avatar models solely from textual descriptions. Recent text-to-3D methods have made considerable strides in generation, but are still lacking in important aspects. Control and often spatial resolution remain limited, existing methods produce fixed rather than animated 3D human models, and anthropometric consistency for complex structures like people remains a challenge. DreamHuman connects large text-to-image synthesis models, neural radiance fields, and statistical human body models in a novel modeling and optimization framework. This makes it possible to generate dynamic 3D human avatars with high-quality textures and learned, instance-specific, surface deformations. We demonstrate that our method is capable to generate a wide variety of animatable, realistic 3D human models from text. Our 3D models have diverse appearance, clothing, skin tones and body shapes, and significantly outperform both generic text-to-3D approaches and previous text-based 3D avatar generators in visual fidelity. For more results and animations please check our website at https://dream-human.github.io.

DreamHuman: 텍스트로부터 생성 가능한 애니메이션 3D 아바타

DreamHuman: Animatable 3D Avatars from Text

초록

Support