Disco4D: Entwirrte 4D-Menschengenerierung und -animation aus einem einzigen Bild

Disco4D: Disentangled 4D Human Generation and Animation from a Single Image

September 25, 2024

Autoren: Hui En Pang, Shuai Liu, Zhongang Cai, Lei Yang, Tianwei Zhang, Ziwei Liu

cs.AI

Zusammenfassung

Wir präsentieren Disco4D, ein neuartiges Gaussian-Splatting-Framework für die 4D-Menschengenerierung und -animation aus einem einzigen Bild. Im Gegensatz zu bestehenden Methoden entwirrt Disco4D deutlich Kleidungsstücke (mit Gaußschen Modellen) vom menschlichen Körper (mit dem SMPL-X-Modell) und verbessert somit signifikant die Generierungsdetails und Flexibilität. Es weist folgende technische Innovationen auf. 1) Disco4D lernt, die Kleidungsgaußschen effizient über die SMPL-X-Gaußschen zu passen. 2) Es übernimmt Diffusionsmodelle, um den 3D-Generierungsprozess zu verbessern, z. B. die Modellierung verdeckter Teile, die im Eingabebild nicht sichtbar sind. 3) Es lernt eine Identitätskodierung für jeden Kleidungsgauß, um die Trennung und Extraktion von Kleidungsassets zu erleichtern. Darüber hinaus unterstützt Disco4D auf natürliche Weise die 4D-Menschenanimation mit lebendiger Dynamik. Umfangreiche Experimente zeigen die Überlegenheit von Disco4D bei 4D-Menschengenerierungs- und Animationsaufgaben. Unsere Visualisierungen finden Sie unter https://disco-4d.github.io/.

English

We present Disco4D, a novel Gaussian Splatting framework for 4D human generation and animation from a single image. Different from existing methods, Disco4D distinctively disentangles clothings (with Gaussian models) from the human body (with SMPL-X model), significantly enhancing the generation details and flexibility. It has the following technical innovations. 1) Disco4D learns to efficiently fit the clothing Gaussians over the SMPL-X Gaussians. 2) It adopts diffusion models to enhance the 3D generation process, e.g., modeling occluded parts not visible in the input image. 3) It learns an identity encoding for each clothing Gaussian to facilitate the separation and extraction of clothing assets. Furthermore, Disco4D naturally supports 4D human animation with vivid dynamics. Extensive experiments demonstrate the superiority of Disco4D on 4D human generation and animation tasks. Our visualizations can be found in https://disco-4d.github.io/.