DreamWaltz-G: Avatar Gaussiani 3D espressivi ottenuti tramite diffusione guidata da scheletro 2D

DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D Diffusion

September 25, 2024

Autori: Yukun Huang, Jianan Wang, Ailing Zeng, Zheng-Jun Zha, Lei Zhang, Xihui Liu

cs.AI

Abstract

Sfruttando modelli di diffusione 2D preaddestrati e campionamento di distillazione dei punteggi (SDS), recenti metodi hanno mostrato risultati promettenti per la generazione di avatar 3D da testo. Tuttavia, generare avatar 3D di alta qualità capaci di animazioni espressive rimane una sfida. In questo lavoro, presentiamo DreamWaltz-G, un nuovo framework di apprendimento per la generazione di avatar 3D animabili da testo. Il cuore di questo framework risiede nella Distillazione dei Punteggi Guidata dallo Scheletro e nella Rappresentazione Ibrida dell'Avatar 3D Gaussiano. In particolare, la proposta di distillazione dei punteggi guidata dallo scheletro integra i controlli dello scheletro dai modelli umani 3D in modelli di diffusione 2D, migliorando la coerenza della supervisione SDS in termini di vista e posa umana. Ciò facilita la generazione di avatar di alta qualità, mitigando problemi come volti multipli, arti aggiuntivi e sfocature. La proposta di rappresentazione ibrida dell'avatar 3D gaussiano si basa sui gaussiani 3D efficienti, combinando campi impliciti neurali e mesh 3D parametrizzate per consentire il rendering in tempo reale, l'ottimizzazione stabile SDS e animazioni espressive. Estesi esperimenti dimostrano che DreamWaltz-G è altamente efficace nella generazione e animazione di avatar 3D, superando i metodi esistenti sia per la qualità visiva che per l'espressività delle animazioni. Il nostro framework supporta inoltre diverse applicazioni, tra cui la rievocazione video umana e la composizione di scene multi-soggetto.

English

Leveraging pretrained 2D diffusion models and score distillation sampling (SDS), recent methods have shown promising results for text-to-3D avatar generation. However, generating high-quality 3D avatars capable of expressive animation remains challenging. In this work, we present DreamWaltz-G, a novel learning framework for animatable 3D avatar generation from text. The core of this framework lies in Skeleton-guided Score Distillation and Hybrid 3D Gaussian Avatar representation. Specifically, the proposed skeleton-guided score distillation integrates skeleton controls from 3D human templates into 2D diffusion models, enhancing the consistency of SDS supervision in terms of view and human pose. This facilitates the generation of high-quality avatars, mitigating issues such as multiple faces, extra limbs, and blurring. The proposed hybrid 3D Gaussian avatar representation builds on the efficient 3D Gaussians, combining neural implicit fields and parameterized 3D meshes to enable real-time rendering, stable SDS optimization, and expressive animation. Extensive experiments demonstrate that DreamWaltz-G is highly effective in generating and animating 3D avatars, outperforming existing methods in both visual quality and animation expressiveness. Our framework further supports diverse applications, including human video reenactment and multi-subject scene composition.