Disco4D: Ontwarde 4D menselijke generatie en animatie vanuit een enkele afbeelding

Disco4D: Disentangled 4D Human Generation and Animation from a Single Image

September 25, 2024

Auteurs: Hui En Pang, Shuai Liu, Zhongang Cai, Lei Yang, Tianwei Zhang, Ziwei Liu

cs.AI

Samenvatting

We presenteren Disco4D, een nieuw Gaussisch Splatting-framework voor 4D menselijke generatie en animatie vanuit een enkele afbeelding. In tegenstelling tot bestaande methoden, ontrafelt Disco4D op een onderscheidende manier kleding (met Gaussische modellen) van het menselijk lichaam (met het SMPL-X model), wat aanzienlijk de generatiedetails en flexibiliteit verbetert. Het heeft de volgende technische innovaties. 1) Disco4D leert om de kleding Gaussiërs efficiënt over de SMPL-X Gaussiërs te passen. 2) Het maakt gebruik van diffusiemodellen om het 3D generatieproces te verbeteren, bijvoorbeeld door het modelleren van verduisterde delen die niet zichtbaar zijn in de invoerafbeelding. 3) Het leert een identiteitscodering voor elke kleding Gaussiër om de scheiding en extractie van kledingstukken te vergemakkelijken. Bovendien ondersteunt Disco4D op een natuurlijke wijze 4D menselijke animatie met levendige dynamiek. Uitgebreide experimenten tonen de superioriteit van Disco4D aan op het gebied van 4D menselijke generatie en animatietaken. Onze visualisaties zijn te vinden op https://disco-4d.github.io/.

English

We present Disco4D, a novel Gaussian Splatting framework for 4D human generation and animation from a single image. Different from existing methods, Disco4D distinctively disentangles clothings (with Gaussian models) from the human body (with SMPL-X model), significantly enhancing the generation details and flexibility. It has the following technical innovations. 1) Disco4D learns to efficiently fit the clothing Gaussians over the SMPL-X Gaussians. 2) It adopts diffusion models to enhance the 3D generation process, e.g., modeling occluded parts not visible in the input image. 3) It learns an identity encoding for each clothing Gaussian to facilitate the separation and extraction of clothing assets. Furthermore, Disco4D naturally supports 4D human animation with vivid dynamics. Extensive experiments demonstrate the superiority of Disco4D on 4D human generation and animation tasks. Our visualizations can be found in https://disco-4d.github.io/.