AvatarVerse: Hochwertige und stabile 3D-Avatar-Erstellung aus Text und Pose

AvatarVerse: High-quality & Stable 3D Avatar Creation from Text and Pose

August 7, 2023

papers.authors: Huichao Zhang, Bowen Chen, Hao Yang, Liao Qu, Xu Wang, Li Chen, Chao Long, Feida Zhu, Kang Du, Min Zheng

cs.AI

papers.abstract

Die Erstellung ausdrucksstarker, vielfältiger und hochwertiger 3D-Avatare aus stark individualisierten Textbeschreibungen und Posenerfassung stellt eine anspruchsvolle Aufgabe dar, insbesondere aufgrund der Komplexität der Modellierung und Texturierung in 3D, die Details und verschiedene Stile (realistisch, fiktiv usw.) gewährleisten müssen. Wir präsentieren AvatarVerse, eine stabile Pipeline zur Generierung ausdrucksstarker, hochwertiger 3D-Avatare ausschließlich aus Textbeschreibungen und Posenerfassung. Konkret führen wir ein 2D-Diffusionsmodell ein, das auf DensePose-Signalen basiert, um die 3D-Posenkontrolle von Avataren durch 2D-Bilder zu ermöglichen, was die Blickkonsistenz in teilweise beobachteten Szenarien verbessert. Dieses Modell adressiert das berüchtigte Janus-Problem und stabilisiert den Generierungsprozess erheblich. Darüber hinaus schlagen wir eine progressive Hochauflösungs-3D-Synthese-Strategie vor, die eine deutliche Verbesserung der Qualität der erstellten 3D-Avatare bewirkt. Auf diese Weise erreicht die vorgeschlagene AvatarVerse-Pipeline ein Zero-Shot-3D-Modellieren von 3D-Avataren, die nicht nur ausdrucksstärker, sondern auch von höherer Qualität und Detailtreue sind als bisherige Arbeiten. Umfangreiche qualitative Bewertungen und Nutzerstudien demonstrieren die Überlegenheit von AvatarVerse bei der Synthese hochdetaillierter 3D-Avatare und setzen damit einen neuen Standard in der Erstellung hochwertiger und stabiler 3D-Avatare. Unsere Projektseite ist: https://avatarverse3d.github.io

English

Creating expressive, diverse and high-quality 3D avatars from highly customized text descriptions and pose guidance is a challenging task, due to the intricacy of modeling and texturing in 3D that ensure details and various styles (realistic, fictional, etc). We present AvatarVerse, a stable pipeline for generating expressive high-quality 3D avatars from nothing but text descriptions and pose guidance. In specific, we introduce a 2D diffusion model conditioned on DensePose signal to establish 3D pose control of avatars through 2D images, which enhances view consistency from partially observed scenarios. It addresses the infamous Janus Problem and significantly stablizes the generation process. Moreover, we propose a progressive high-resolution 3D synthesis strategy, which obtains substantial improvement over the quality of the created 3D avatars. To this end, the proposed AvatarVerse pipeline achieves zero-shot 3D modeling of 3D avatars that are not only more expressive, but also in higher quality and fidelity than previous works. Rigorous qualitative evaluations and user studies showcase AvatarVerse's superiority in synthesizing high-fidelity 3D avatars, leading to a new standard in high-quality and stable 3D avatar creation. Our project page is: https://avatarverse3d.github.io