DreamWaltz-G : Avatars gaussiens expressifs en 3D à partir de la diffusion 2D guidée par un squelette

DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D Diffusion

September 25, 2024

Auteurs: Yukun Huang, Jianan Wang, Ailing Zeng, Zheng-Jun Zha, Lei Zhang, Xihui Liu

cs.AI

Résumé

En exploitant des modèles de diffusion 2D pré-entraînés et l'échantillonnage de distillation de score (SDS), des méthodes récentes ont montré des résultats prometteurs pour la génération d'avatars 3D à partir de texte. Cependant, générer des avatars 3D de haute qualité capables d'animation expressive reste un défi. Dans ce travail, nous présentons DreamWaltz-G, un nouveau cadre d'apprentissage pour la génération d'avatars 3D animables à partir de texte. Le cœur de ce cadre réside dans la distillation de score guidée par un squelette et la représentation hybride d'avatars 3D gaussiens. Plus précisément, la distillation de score guidée par un squelette proposée intègre des contrôles de squelette à partir de modèles humains 3D dans des modèles de diffusion 2D, améliorant la cohérence de la supervision SDS en termes de vue et de posture humaine. Cela facilite la génération d'avatars de haute qualité, atténuant les problèmes tels que les visages multiples, les membres supplémentaires et le flou. La représentation hybride d'avatar 3D gaussien proposée s'appuie sur des gaussiennes 3D efficaces, combinant des champs implicites neuronaux et des maillages 3D paramétrés pour permettre un rendu en temps réel, une optimisation SDS stable et une animation expressive. Des expériences approfondies démontrent que DreamWaltz-G est très efficace pour générer et animer des avatars 3D, surpassant les méthodes existantes à la fois en termes de qualité visuelle et d'expressivité de l'animation. Notre cadre prend en charge diverses applications, y compris la réinterprétation vidéo humaine et la composition de scènes multi-sujets.

English

Leveraging pretrained 2D diffusion models and score distillation sampling (SDS), recent methods have shown promising results for text-to-3D avatar generation. However, generating high-quality 3D avatars capable of expressive animation remains challenging. In this work, we present DreamWaltz-G, a novel learning framework for animatable 3D avatar generation from text. The core of this framework lies in Skeleton-guided Score Distillation and Hybrid 3D Gaussian Avatar representation. Specifically, the proposed skeleton-guided score distillation integrates skeleton controls from 3D human templates into 2D diffusion models, enhancing the consistency of SDS supervision in terms of view and human pose. This facilitates the generation of high-quality avatars, mitigating issues such as multiple faces, extra limbs, and blurring. The proposed hybrid 3D Gaussian avatar representation builds on the efficient 3D Gaussians, combining neural implicit fields and parameterized 3D meshes to enable real-time rendering, stable SDS optimization, and expressive animation. Extensive experiments demonstrate that DreamWaltz-G is highly effective in generating and animating 3D avatars, outperforming existing methods in both visual quality and animation expressiveness. Our framework further supports diverse applications, including human video reenactment and multi-subject scene composition.