DreamWaltz-G: Экспрессивные трехмерные гауссовы аватары с направляющим скелетом 2D Диффузия

DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D Diffusion

September 25, 2024

Авторы: Yukun Huang, Jianan Wang, Ailing Zeng, Zheng-Jun Zha, Lei Zhang, Xihui Liu

cs.AI

Аннотация

Пользуясь предварительно обученными 2D моделями диффузии и сэмплированием дистилляции оценок (SDS), недавние методы показали многообещающие результаты в области генерации трехмерных аватаров из текста. Однако создание высококачественных трехмерных аватаров, способных к выразительной анимации, остается сложной задачей. В данной работе мы представляем DreamWaltz-G, новую обучающую структуру для генерации анимируемых трехмерных аватаров из текста. Основой этой структуры является Дистилляция Оценок с Управлением Скелетом и Гибридное Представление 3D Гауссовского Аватара. Конкретно, предложенная дистилляция оценок с управлением скелетом интегрирует управление скелетом из 3D шаблонов человека в 2D модели диффузии, улучшая согласованность надзора SDS с точки зрения вида и позы человека. Это облегчает генерацию аватаров высокого качества, уменьшая проблемы, такие как множественные лица, дополнительные конечности и размытие. Предложенное гибридное 3D Гауссовское представление аватара основано на эффективных 3D гауссах, объединяя нейронные неявные поля и параметризованные 3D сетки для обеспечения реального времени рендеринга, стабильной оптимизации SDS и выразительной анимации. Обширные эксперименты демонстрируют, что DreamWaltz-G эффективен в генерации и анимации 3D аватаров, превосходя существующие методы как по визуальному качеству, так и по выразительности анимации. Наша структура также поддерживает различные приложения, включая реэнактмент видео с участием человека и композицию сцен с несколькими субъектами.

English

Leveraging pretrained 2D diffusion models and score distillation sampling (SDS), recent methods have shown promising results for text-to-3D avatar generation. However, generating high-quality 3D avatars capable of expressive animation remains challenging. In this work, we present DreamWaltz-G, a novel learning framework for animatable 3D avatar generation from text. The core of this framework lies in Skeleton-guided Score Distillation and Hybrid 3D Gaussian Avatar representation. Specifically, the proposed skeleton-guided score distillation integrates skeleton controls from 3D human templates into 2D diffusion models, enhancing the consistency of SDS supervision in terms of view and human pose. This facilitates the generation of high-quality avatars, mitigating issues such as multiple faces, extra limbs, and blurring. The proposed hybrid 3D Gaussian avatar representation builds on the efficient 3D Gaussians, combining neural implicit fields and parameterized 3D meshes to enable real-time rendering, stable SDS optimization, and expressive animation. Extensive experiments demonstrate that DreamWaltz-G is highly effective in generating and animating 3D avatars, outperforming existing methods in both visual quality and animation expressiveness. Our framework further supports diverse applications, including human video reenactment and multi-subject scene composition.