Disco4D: Generazione e animazione disentangled di esseri umani in 4D da un'immagine singola

Disco4D: Disentangled 4D Human Generation and Animation from a Single Image

September 25, 2024

Autori: Hui En Pang, Shuai Liu, Zhongang Cai, Lei Yang, Tianwei Zhang, Ziwei Liu

cs.AI

Abstract

Presentiamo Disco4D, un nuovo framework di Splatting Gaussiano per la generazione e l'animazione umana 4D da un'unica immagine. Diversamente dai metodi esistenti, Disco4D distingue in modo distintivo i vestiti (con modelli Gaussiani) dal corpo umano (con il modello SMPL-X), migliorando significativamente i dettagli e la flessibilità della generazione. Presenta le seguenti innovazioni tecniche. 1) Disco4D impara a adattare efficientemente i Gaussiani dei vestiti sui Gaussiani SMPL-X. 2) Adotta modelli di diffusione per migliorare il processo di generazione 3D, ad esempio, modellando parti occulse non visibili nell'immagine in ingresso. 3) Apprende una codifica dell'identità per ciascun Gaussiano dei vestiti per facilitare la separazione e l'estrazione degli elementi dell'abbigliamento. Inoltre, Disco4D supporta naturalmente l'animazione umana 4D con dinamiche vivide. Estesi esperimenti dimostrano la superiorità di Disco4D nelle attività di generazione e animazione umana 4D. Le nostre visualizzazioni sono disponibili su https://disco-4d.github.io/.

English

We present Disco4D, a novel Gaussian Splatting framework for 4D human generation and animation from a single image. Different from existing methods, Disco4D distinctively disentangles clothings (with Gaussian models) from the human body (with SMPL-X model), significantly enhancing the generation details and flexibility. It has the following technical innovations. 1) Disco4D learns to efficiently fit the clothing Gaussians over the SMPL-X Gaussians. 2) It adopts diffusion models to enhance the 3D generation process, e.g., modeling occluded parts not visible in the input image. 3) It learns an identity encoding for each clothing Gaussian to facilitate the separation and extraction of clothing assets. Furthermore, Disco4D naturally supports 4D human animation with vivid dynamics. Extensive experiments demonstrate the superiority of Disco4D on 4D human generation and animation tasks. Our visualizations can be found in https://disco-4d.github.io/.