Disco4D : Génération et animation humaine 4D désentrelacées à partir d'une seule image

Disco4D: Disentangled 4D Human Generation and Animation from a Single Image

September 25, 2024

Auteurs: Hui En Pang, Shuai Liu, Zhongang Cai, Lei Yang, Tianwei Zhang, Ziwei Liu

cs.AI

Résumé

Nous présentons Disco4D, un nouveau cadre d'étalement gaussien pour la génération et l'animation humaine 4D à partir d'une seule image. Contrairement aux méthodes existantes, Disco4D démêle distinctement les vêtements (avec des modèles gaussiens) du corps humain (avec le modèle SMPL-X), améliorant significativement les détails de génération et la flexibilité. Il présente les innovations techniques suivantes. 1) Disco4D apprend à ajuster efficacement les gaussiennes de vêtements sur les gaussiennes SMPL-X. 2) Il adopte des modèles de diffusion pour améliorer le processus de génération 3D, par exemple, modélisant les parties occultées non visibles dans l'image d'entrée. 3) Il apprend un codage d'identité pour chaque gaussienne de vêtement afin de faciliter la séparation et l'extraction des éléments vestimentaires. De plus, Disco4D prend en charge naturellement l'animation humaine 4D avec des dynamiques vivantes. Des expériences approfondies démontrent la supériorité de Disco4D sur les tâches de génération et d'animation humaine 4D. Nos visualisations sont disponibles sur https://disco-4d.github.io/.

English

We present Disco4D, a novel Gaussian Splatting framework for 4D human generation and animation from a single image. Different from existing methods, Disco4D distinctively disentangles clothings (with Gaussian models) from the human body (with SMPL-X model), significantly enhancing the generation details and flexibility. It has the following technical innovations. 1) Disco4D learns to efficiently fit the clothing Gaussians over the SMPL-X Gaussians. 2) It adopts diffusion models to enhance the 3D generation process, e.g., modeling occluded parts not visible in the input image. 3) It learns an identity encoding for each clothing Gaussian to facilitate the separation and extraction of clothing assets. Furthermore, Disco4D naturally supports 4D human animation with vivid dynamics. Extensive experiments demonstrate the superiority of Disco4D on 4D human generation and animation tasks. Our visualizations can be found in https://disco-4d.github.io/.