DreamWaltz-G: Expressieve 3D Gaussische Avatars uit Skeleton-Gestuurde 2D Diffusie

DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D Diffusion

September 25, 2024

Auteurs: Yukun Huang, Jianan Wang, Ailing Zeng, Zheng-Jun Zha, Lei Zhang, Xihui Liu

cs.AI

Samenvatting

Door gebruik te maken van vooraf getrainde 2D diffusiemodellen en score distillatie sampling (SDS) hebben recente methoden veelbelovende resultaten laten zien voor het genereren van tekst-naar-3D-avatar. Het genereren van hoogwaardige 3D-avatars die in staat zijn tot expressieve animatie blijft echter een uitdaging. In dit werk presenteren we DreamWaltz-G, een nieuw leerkader voor het genereren van animeerbare 3D-avatars uit tekst. De kern van dit kader ligt in Skeleton-geleide Score Distillatie en Hybride 3D Gaussische Avatar representatie. Specifiek integreert de voorgestelde skeleton-geleide score distillatie skeleton controls van 3D menselijke sjablonen in 2D diffusiemodellen, waardoor de consistentie van SDS-toezicht wordt verbeterd wat betreft zicht en menselijke houding. Dit vergemakkelijkt het genereren van hoogwaardige avatars, waardoor problemen zoals meerdere gezichten, extra ledematen en vervaging worden verminderd. De voorgestelde hybride 3D Gaussische avatar representatie bouwt voort op de efficiënte 3D Gaussiërs, waarbij neurale impliciete velden en geparametriseerde 3D meshes worden gecombineerd om real-time rendering, stabiele SDS-optimalisatie en expressieve animatie mogelijk te maken. Uitgebreide experimenten tonen aan dat DreamWaltz-G zeer effectief is in het genereren en animeren van 3D-avatars, waarbij bestaande methoden worden overtroffen op zowel visuele kwaliteit als animatie expressiviteit. Ons kader ondersteunt verder diverse toepassingen, waaronder menselijke video re-enactment en samenstelling van scènes met meerdere onderwerpen.

English

Leveraging pretrained 2D diffusion models and score distillation sampling (SDS), recent methods have shown promising results for text-to-3D avatar generation. However, generating high-quality 3D avatars capable of expressive animation remains challenging. In this work, we present DreamWaltz-G, a novel learning framework for animatable 3D avatar generation from text. The core of this framework lies in Skeleton-guided Score Distillation and Hybrid 3D Gaussian Avatar representation. Specifically, the proposed skeleton-guided score distillation integrates skeleton controls from 3D human templates into 2D diffusion models, enhancing the consistency of SDS supervision in terms of view and human pose. This facilitates the generation of high-quality avatars, mitigating issues such as multiple faces, extra limbs, and blurring. The proposed hybrid 3D Gaussian avatar representation builds on the efficient 3D Gaussians, combining neural implicit fields and parameterized 3D meshes to enable real-time rendering, stable SDS optimization, and expressive animation. Extensive experiments demonstrate that DreamWaltz-G is highly effective in generating and animating 3D avatars, outperforming existing methods in both visual quality and animation expressiveness. Our framework further supports diverse applications, including human video reenactment and multi-subject scene composition.