UltrAvatar: Ein realistisches animierbares 3D-Avatar-Diffusionsmodell mit authentizitätsgeleiteten Texturen

UltrAvatar: A Realistic Animatable 3D Avatar Diffusion Model with Authenticity Guided Textures

January 20, 2024

Autoren: Mingyuan Zhou, Rakib Hyder, Ziwei Xuan, Guojun Qi

cs.AI

Zusammenfassung

Jüngste Fortschritte in der Generierung von 3D-Avataren haben erhebliche Aufmerksamkeit erregt. Diese Durchbrüche zielen darauf ab, realistischere und animierbare Avatare zu erzeugen, wodurch die Lücke zwischen virtuellen und realen Erfahrungen verringert wird. Die meisten bestehenden Ansätze verwenden den Score Distillation Sampling (SDS)-Verlust, kombiniert mit einem differenzierbaren Renderer und Textbedingungen, um ein Diffusionsmodell bei der Generierung von 3D-Avataren zu steuern. SDS führt jedoch oft zu übermäßig geglätteten Ergebnissen mit wenigen Gesichtsdetails, wodurch die Vielfalt im Vergleich zum ancestral sampling eingeschränkt ist. Andere Ansätze generieren 3D-Avatare aus einem einzelnen Bild, wobei die Herausforderungen unerwünschter Lichteffekte, perspektivischer Ansichten und minderwertiger Bildqualität die zuverlässige Rekonstruktion von 3D-Gesichtsnetzen mit ausgerichteten vollständigen Texturen erschweren. In diesem Artikel schlagen wir einen neuartigen Ansatz zur 3D-Avatar-Generierung vor, genannt UltrAvatar, mit verbesserter geometrischer Genauigkeit und überlegener Qualität von physikalisch basierten Rendering (PBR)-Texturen ohne unerwünschte Beleuchtung. Zu diesem Zweck präsentiert der vorgeschlagene Ansatz ein Modell zur Extraktion der diffusen Farbe und ein authentizitätsgeführtes Textur-Diffusionsmodell. Ersteres entfernt unerwünschte Lichteffekte, um die wahre diffuse Farbe offenzulegen, sodass die generierten Avatare unter verschiedenen Lichtbedingungen gerendert werden können. Letzteres folgt zwei gradientenbasierten Leitlinien zur Generierung von PBR-Texturen, um vielfältige Gesichtsidentitätsmerkmale und Details besser an die 3D-Netzgeometrie anzupassen. Wir demonstrieren die Wirksamkeit und Robustheit der vorgeschlagenen Methode, die in den Experimenten die state-of-the-art-Methoden deutlich übertrifft.

English

Recent advances in 3D avatar generation have gained significant attentions. These breakthroughs aim to produce more realistic animatable avatars, narrowing the gap between virtual and real-world experiences. Most of existing works employ Score Distillation Sampling (SDS) loss, combined with a differentiable renderer and text condition, to guide a diffusion model in generating 3D avatars. However, SDS often generates oversmoothed results with few facial details, thereby lacking the diversity compared with ancestral sampling. On the other hand, other works generate 3D avatar from a single image, where the challenges of unwanted lighting effects, perspective views, and inferior image quality make them difficult to reliably reconstruct the 3D face meshes with the aligned complete textures. In this paper, we propose a novel 3D avatar generation approach termed UltrAvatar with enhanced fidelity of geometry, and superior quality of physically based rendering (PBR) textures without unwanted lighting. To this end, the proposed approach presents a diffuse color extraction model and an authenticity guided texture diffusion model. The former removes the unwanted lighting effects to reveal true diffuse colors so that the generated avatars can be rendered under various lighting conditions. The latter follows two gradient-based guidances for generating PBR textures to render diverse face-identity features and details better aligning with 3D mesh geometry. We demonstrate the effectiveness and robustness of the proposed method, outperforming the state-of-the-art methods by a large margin in the experiments.