SEEAvatar: 제한된 기하학적 구조와 외형을 가진 사실적인 텍스트-3D 아바타 생성
SEEAvatar: Photorealistic Text-to-3D Avatar Generation with Constrained Geometry and Appearance
December 13, 2023
저자: Yuanyou Xu, Zongxin Yang, Yi Yang
cs.AI
초록
대규모 텍스트-이미지 생성 모델을 기반으로, 텍스트-3D 아바타 생성은 유망한 발전을 이루어 왔습니다. 그러나 대부분의 방법은 부정확한 기하학적 구조와 낮은 품질의 외관으로 인해 사실적인 결과를 생성하지 못하는 한계가 있습니다. 더 실용적인 아바타 생성을 위해, 우리는 SEEAvatar를 제안합니다. 이는 텍스트로부터 사실적인 3D 아바타를 생성하는 방법으로, 기하학적 구조와 외관을 분리하여 SElf-Evolving 제약을 적용합니다. 기하학적 구조의 경우, 템플릿 아바타를 통해 최적화된 아바타가 적절한 전역적 형태를 유지하도록 제약합니다. 템플릿 아바타는 인간 사전 지식으로 초기화되며, 주기적으로 최적화된 아바타에 의해 업데이트되어 더 유연한 형태 생성을 가능하게 합니다. 또한, 얼굴과 손과 같은 지역적 부분에서는 정적 인간 사전 지식으로 기하학적 구조를 제약하여 섬세한 구조를 유지합니다. 외관 생성의 경우, 프롬프트 엔지니어링으로 강화된 확산 모델을 사용하여 물리 기반 렌더링 파이프라인을 안내하여 사실적인 텍스처를 생성합니다. 알베도 텍스처에 밝기 제약을 적용하여 잘못된 조명 효과를 억제합니다. 실험 결과, 우리의 방법은 전역적 및 지역적 기하학적 구조와 외관 품질에서 이전 방법들을 큰 차이로 능가함을 보여줍니다. 우리의 방법은 고품질의 메쉬와 텍스처를 생성할 수 있으므로, 이러한 자산은 어떤 조명 조건에서도 사실적인 렌더링을 위해 클래식 그래픽스 파이프라인에 직접 적용될 수 있습니다. 프로젝트 페이지: https://seeavatar3d.github.io.
English
Powered by large-scale text-to-image generation models, text-to-3D avatar
generation has made promising progress. However, most methods fail to produce
photorealistic results, limited by imprecise geometry and low-quality
appearance. Towards more practical avatar generation, we present SEEAvatar, a
method for generating photorealistic 3D avatars from text with SElf-Evolving
constraints for decoupled geometry and appearance. For geometry, we propose to
constrain the optimized avatar in a decent global shape with a template avatar.
The template avatar is initialized with human prior and can be updated by the
optimized avatar periodically as an evolving template, which enables more
flexible shape generation. Besides, the geometry is also constrained by the
static human prior in local parts like face and hands to maintain the delicate
structures. For appearance generation, we use diffusion model enhanced by
prompt engineering to guide a physically based rendering pipeline to generate
realistic textures. The lightness constraint is applied on the albedo texture
to suppress incorrect lighting effect. Experiments show that our method
outperforms previous methods on both global and local geometry and appearance
quality by a large margin. Since our method can produce high-quality meshes and
textures, such assets can be directly applied in classic graphics pipeline for
realistic rendering under any lighting condition. Project page at:
https://seeavatar3d.github.io.