DreamWaltz-G: Ausdrucksstarke 3D-Gauß-Avatare aus skelettgeführter 2D-Diffusion

DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D Diffusion

September 25, 2024

Autoren: Yukun Huang, Jianan Wang, Ailing Zeng, Zheng-Jun Zha, Lei Zhang, Xihui Liu

cs.AI

Zusammenfassung

Durch die Nutzung vorab trainierter 2D-Diffusionsmodelle und Score-Distillationssampling (SDS) haben aktuelle Methoden vielversprechende Ergebnisse bei der Generierung von Text-zu-3D-Avataren gezeigt. Die Erzeugung hochwertiger 3D-Avatare, die expressive Animationen ermöglichen, bleibt jedoch eine Herausforderung. In dieser Arbeit präsentieren wir DreamWaltz-G, ein neuartiges Lernrahmenwerk für die Generierung von animierbaren 3D-Avataren aus Text. Der Kern dieses Rahmens liegt in der Skeleton-geführten Score-Distillation und der hybriden 3D-Gaußschen Avatar-Repräsentation. Insbesondere integriert die vorgeschlagene skeleton-geführte Score-Distillation Skelettsteuerungen aus 3D-Menschenvorlagen in 2D-Diffusionsmodelle, was die Konsistenz der SDS-Überwachung in Bezug auf Ansicht und menschliche Pose verbessert. Dies erleichtert die Generierung hochwertiger Avatare und mildert Probleme wie mehrere Gesichter, zusätzliche Gliedmaßen und Unschärfe. Die vorgeschlagene hybride 3D-Gaußsche Avatar-Repräsentation baut auf effizienten 3D-Gaußschen auf, die neuronale implizite Felder und parametrisierte 3D-Gitter kombinieren, um eine Echtzeit-Renderung, stabile SDS-Optimierung und expressive Animation zu ermöglichen. Umfangreiche Experimente zeigen, dass DreamWaltz-G äußerst effektiv bei der Generierung und Animation von 3D-Avataren ist und bestehende Methoden sowohl in visueller Qualität als auch in Animationsausdruck übertrifft. Unser Rahmenwerk unterstützt zudem vielfältige Anwendungen, einschließlich der Nachstellung von menschlichen Videos und der Mehrfachsubjekt-Szenenzusammensetzung.

English

Leveraging pretrained 2D diffusion models and score distillation sampling (SDS), recent methods have shown promising results for text-to-3D avatar generation. However, generating high-quality 3D avatars capable of expressive animation remains challenging. In this work, we present DreamWaltz-G, a novel learning framework for animatable 3D avatar generation from text. The core of this framework lies in Skeleton-guided Score Distillation and Hybrid 3D Gaussian Avatar representation. Specifically, the proposed skeleton-guided score distillation integrates skeleton controls from 3D human templates into 2D diffusion models, enhancing the consistency of SDS supervision in terms of view and human pose. This facilitates the generation of high-quality avatars, mitigating issues such as multiple faces, extra limbs, and blurring. The proposed hybrid 3D Gaussian avatar representation builds on the efficient 3D Gaussians, combining neural implicit fields and parameterized 3D meshes to enable real-time rendering, stable SDS optimization, and expressive animation. Extensive experiments demonstrate that DreamWaltz-G is highly effective in generating and animating 3D avatars, outperforming existing methods in both visual quality and animation expressiveness. Our framework further supports diverse applications, including human video reenactment and multi-subject scene composition.