DreamWaltz-G: Avatares Gaussianos 3D Expressivos a partir de Difusão 2D Guiada por Esqueleto

DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D Diffusion

September 25, 2024

Autores: Yukun Huang, Jianan Wang, Ailing Zeng, Zheng-Jun Zha, Lei Zhang, Xihui Liu

cs.AI

Resumo

Aproveitando modelos de difusão 2D pré-treinados e amostragem de destilação de pontuação (SDS), métodos recentes têm mostrado resultados promissores para a geração de avatares 3D a partir de texto. No entanto, gerar avatares 3D de alta qualidade capazes de animação expressiva ainda é desafiador. Neste trabalho, apresentamos o DreamWaltz-G, um novo framework de aprendizado para geração de avatares 3D animáveis a partir de texto. O cerne deste framework reside na Destilação de Pontuação Guiada por Esqueleto e na Representação Híbrida de Avatar 3D Gaussiano. Especificamente, a destilação de pontuação guiada por esqueleto proposta integra controles de esqueleto de modelos humanos 3D em modelos de difusão 2D, aprimorando a consistência da supervisão de SDS em termos de visualização e pose humana. Isso facilita a geração de avatares de alta qualidade, mitigando problemas como múltiplos rostos, membros extras e desfoque. A representação híbrida de avatar 3D Gaussiano proposta baseia-se nos Gaussianos 3D eficientes, combinando campos implícitos neurais e malhas 3D parametrizadas para permitir renderização em tempo real, otimização estável de SDS e animação expressiva. Experimentos extensivos demonstram que o DreamWaltz-G é altamente eficaz na geração e animação de avatares 3D, superando os métodos existentes tanto em qualidade visual quanto em expressividade de animação. Nosso framework ainda suporta diversas aplicações, incluindo reencenação de vídeo humano e composição de cena com vários sujeitos.

English

Leveraging pretrained 2D diffusion models and score distillation sampling (SDS), recent methods have shown promising results for text-to-3D avatar generation. However, generating high-quality 3D avatars capable of expressive animation remains challenging. In this work, we present DreamWaltz-G, a novel learning framework for animatable 3D avatar generation from text. The core of this framework lies in Skeleton-guided Score Distillation and Hybrid 3D Gaussian Avatar representation. Specifically, the proposed skeleton-guided score distillation integrates skeleton controls from 3D human templates into 2D diffusion models, enhancing the consistency of SDS supervision in terms of view and human pose. This facilitates the generation of high-quality avatars, mitigating issues such as multiple faces, extra limbs, and blurring. The proposed hybrid 3D Gaussian avatar representation builds on the efficient 3D Gaussians, combining neural implicit fields and parameterized 3D meshes to enable real-time rendering, stable SDS optimization, and expressive animation. Extensive experiments demonstrate that DreamWaltz-G is highly effective in generating and animating 3D avatars, outperforming existing methods in both visual quality and animation expressiveness. Our framework further supports diverse applications, including human video reenactment and multi-subject scene composition.