아바타버스: 텍스트와 포즈를 활용한 고품질 및 안정적인 3D 아바타 생성
AvatarVerse: High-quality & Stable 3D Avatar Creation from Text and Pose
August 7, 2023
저자: Huichao Zhang, Bowen Chen, Hao Yang, Liao Qu, Xu Wang, Li Chen, Chao Long, Feida Zhu, Kang Du, Min Zheng
cs.AI
초록
고도로 맞춤화된 텍스트 설명과 포즈 가이던스를 통해 표현력이 풍부하고 다양하며 고품질의 3D 아바타를 생성하는 것은, 세부 사항과 다양한 스타일(사실적, 가상적 등)을 보장하기 위한 3D 모델링과 텍스처링의 복잡성으로 인해 어려운 작업이다. 우리는 AvatarVerse를 제안하는데, 이는 텍스트 설명과 포즈 가이던스만으로부터 표현력이 뛰어난 고품질 3D 아바타를 생성하기 위한 안정적인 파이프라인이다. 구체적으로, 우리는 DensePose 신호에 기반한 2D 확산 모델을 도입하여 2D 이미지를 통해 3D 아바타의 포즈 제어를 가능하게 하여, 부분적으로 관찰된 시나리오에서의 뷰 일관성을 향상시킨다. 이는 악명 높은 야누스 문제(Janus Problem)를 해결하고 생성 과정을 크게 안정화한다. 또한, 우리는 점진적인 고해상도 3D 합성 전략을 제안하여, 생성된 3D 아바타의 품질을 크게 개선한다. 이를 통해, 제안된 AvatarVerse 파이프라인은 이전 작업들보다 더 표현력이 뛰어날 뿐만 아니라 더 높은 품질과 충실도를 가진 3D 아바타의 제로샷 3D 모델링을 달성한다. 엄격한 정성적 평가와 사용자 연구는 AvatarVerse가 고충실도 3D 아바타를 합성하는 데 있어 우수성을 보여주며, 고품질이고 안정적인 3D 아바타 생성의 새로운 표준을 제시한다. 우리의 프로젝트 페이지는 https://avatarverse3d.github.io이다.
English
Creating expressive, diverse and high-quality 3D avatars from highly
customized text descriptions and pose guidance is a challenging task, due to
the intricacy of modeling and texturing in 3D that ensure details and various
styles (realistic, fictional, etc). We present AvatarVerse, a stable pipeline
for generating expressive high-quality 3D avatars from nothing but text
descriptions and pose guidance. In specific, we introduce a 2D diffusion model
conditioned on DensePose signal to establish 3D pose control of avatars through
2D images, which enhances view consistency from partially observed scenarios.
It addresses the infamous Janus Problem and significantly stablizes the
generation process. Moreover, we propose a progressive high-resolution 3D
synthesis strategy, which obtains substantial improvement over the quality of
the created 3D avatars. To this end, the proposed AvatarVerse pipeline achieves
zero-shot 3D modeling of 3D avatars that are not only more expressive, but also
in higher quality and fidelity than previous works. Rigorous qualitative
evaluations and user studies showcase AvatarVerse's superiority in synthesizing
high-fidelity 3D avatars, leading to a new standard in high-quality and stable
3D avatar creation. Our project page is: https://avatarverse3d.github.io