Disco4D: 単一画像からの4D人物生成とアニメーションの分離

Disco4D: Disentangled 4D Human Generation and Animation from a Single Image

September 25, 2024

著者: Hui En Pang, Shuai Liu, Zhongang Cai, Lei Yang, Tianwei Zhang, Ziwei Liu

cs.AI

要旨

私たちは、単一の画像からの4D人物生成とアニメーションのための革新的なガウススプラッティングフレームワークであるDisco4Dを提案します。既存の手法とは異なり、Disco4Dは服（ガウスモデルを使用）を人体（SMPL-Xモデルを使用）から明確に分離し、生成の詳細と柔軟性を大幅に向上させます。次の技術革新があります。 1) Disco4Dは、効率的に服のガウス分布をSMPL-Xのガウス分布に適合させることを学習します。2) 3D生成プロセスを向上させるために拡散モデルを採用し、入力画像では見えない遮蔽された部分をモデリングします。3) それぞれの服のガウス分布に対する識別エンコーディングを学習し、服のアセットの分離と抽出を容易にします。 さらに、Disco4Dは自然に生き生きとしたダイナミクスを持つ4D人物アニメーションをサポートします。包括的な実験により、Disco4Dの4D人物生成とアニメーションタスクにおける優越性が証明されています。弊社の可視化結果は、https://disco-4d.github.io/ でご覧いただけます。

English

We present Disco4D, a novel Gaussian Splatting framework for 4D human generation and animation from a single image. Different from existing methods, Disco4D distinctively disentangles clothings (with Gaussian models) from the human body (with SMPL-X model), significantly enhancing the generation details and flexibility. It has the following technical innovations. 1) Disco4D learns to efficiently fit the clothing Gaussians over the SMPL-X Gaussians. 2) It adopts diffusion models to enhance the 3D generation process, e.g., modeling occluded parts not visible in the input image. 3) It learns an identity encoding for each clothing Gaussian to facilitate the separation and extraction of clothing assets. Furthermore, Disco4D naturally supports 4D human animation with vivid dynamics. Extensive experiments demonstrate the superiority of Disco4D on 4D human generation and animation tasks. Our visualizations can be found in https://disco-4d.github.io/.