Disco4D: Раздельная генерация и анимация человека в 4D из одного изображения

Disco4D: Disentangled 4D Human Generation and Animation from a Single Image

September 25, 2024

Авторы: Hui En Pang, Shuai Liu, Zhongang Cai, Lei Yang, Tianwei Zhang, Ziwei Liu

cs.AI

Аннотация

Мы представляем Disco4D, новую рамку гауссова сплэттинга для генерации и анимации человека в 4D из одного изображения. В отличие от существующих методов, Disco4D отчетливо разделяет одежду (с помощью гауссовых моделей) от человеческого тела (с помощью модели SMPL-X), значительно улучшая детали генерации и гибкость. Он имеет следующие технические инновации. 1) Disco4D учится эффективно подгонять гауссовы одежды над гауссовыми SMPL-X. 2) Он принимает модели диффузии для улучшения процесса генерации в 3D, например, моделирование закрытых частей, не видимых на входном изображении. 3) Он учит кодирование личности для каждой гауссовой одежды, чтобы облегчить разделение и извлечение элементов одежды. Кроме того, Disco4D естественным образом поддерживает анимацию человека в 4D с яркой динамикой. Обширные эксперименты демонстрируют превосходство Disco4D в задачах генерации и анимации человека в 4D. Наши визуализации можно найти на https://disco-4d.github.io/.

English

We present Disco4D, a novel Gaussian Splatting framework for 4D human generation and animation from a single image. Different from existing methods, Disco4D distinctively disentangles clothings (with Gaussian models) from the human body (with SMPL-X model), significantly enhancing the generation details and flexibility. It has the following technical innovations. 1) Disco4D learns to efficiently fit the clothing Gaussians over the SMPL-X Gaussians. 2) It adopts diffusion models to enhance the 3D generation process, e.g., modeling occluded parts not visible in the input image. 3) It learns an identity encoding for each clothing Gaussian to facilitate the separation and extraction of clothing assets. Furthermore, Disco4D naturally supports 4D human animation with vivid dynamics. Extensive experiments demonstrate the superiority of Disco4D on 4D human generation and animation tasks. Our visualizations can be found in https://disco-4d.github.io/.