Disco4D: Generación y animación humana desentrelazada en 4D a partir de una sola imagen

Disco4D: Disentangled 4D Human Generation and Animation from a Single Image

September 25, 2024

Autores: Hui En Pang, Shuai Liu, Zhongang Cai, Lei Yang, Tianwei Zhang, Ziwei Liu

cs.AI

Resumen

Presentamos Disco4D, un novedoso marco de Splatting Gaussiano para la generación y animación humana en 4D a partir de una sola imagen. A diferencia de los métodos existentes, Disco4D desentraña de manera distintiva la ropa (con modelos Gaussianos) del cuerpo humano (con el modelo SMPL-X), mejorando significativamente los detalles de generación y la flexibilidad. Presenta las siguientes innovaciones técnicas. 1) Disco4D aprende a ajustar eficientemente las Gaussiana de la ropa sobre las Gaussiana de SMPL-X. 2) Adopta modelos de difusión para mejorar el proceso de generación en 3D, por ejemplo, modelando partes ocultas no visibles en la imagen de entrada. 3) Aprende una codificación de identidad para cada Gaussiana de ropa para facilitar la separación y extracción de activos de ropa. Además, Disco4D soporta de forma natural la animación humana en 4D con dinámicas vívidas. Experimentos extensos demuestran la superioridad de Disco4D en tareas de generación y animación humana en 4D. Nuestras visualizaciones se pueden encontrar en https://disco-4d.github.io/.

English

We present Disco4D, a novel Gaussian Splatting framework for 4D human generation and animation from a single image. Different from existing methods, Disco4D distinctively disentangles clothings (with Gaussian models) from the human body (with SMPL-X model), significantly enhancing the generation details and flexibility. It has the following technical innovations. 1) Disco4D learns to efficiently fit the clothing Gaussians over the SMPL-X Gaussians. 2) It adopts diffusion models to enhance the 3D generation process, e.g., modeling occluded parts not visible in the input image. 3) It learns an identity encoding for each clothing Gaussian to facilitate the separation and extraction of clothing assets. Furthermore, Disco4D naturally supports 4D human animation with vivid dynamics. Extensive experiments demonstrate the superiority of Disco4D on 4D human generation and animation tasks. Our visualizations can be found in https://disco-4d.github.io/.