Garment3DGen: 3D衣類のスタイライゼーションとテクスチャ生成

Garment3DGen: 3D Garment Stylization and Texture Generation

March 27, 2024

著者: Nikolaos Sarafianos, Tuur Stuyck, Xiaoyu Xiang, Yilei Li, Jovan Popovic, Rakesh Ranjan

cs.AI

要旨

本論文では、単一の入力画像をガイダンスとして、ベースメッシュから3D衣類アセットを合成する新しい手法「Garment3DGen」を紹介します。提案手法により、ユーザーは実写画像やテキストプロンプトから生成された合成画像に基づいて、テクスチャ付きの3D衣類を生成することができます。生成されたアセットは、人体に直接ドレープしてシミュレーションすることが可能です。まず、最近の画像から3Dを生成する拡散法の進展を活用して、3D衣類のジオメトリを生成します。しかし、これらのジオメトリは下流タスクに直接利用できないため、疑似グラウンドトゥルースとして使用し、ベーステンプレートメッシュを変形させて生成された3Dターゲットに一致させるメッシュ変形最適化手順を設定します。次に、入力ベースメッシュが目的のターゲットに向かって自由に変形できる一方で、メッシュの品質とトポロジーを維持し、シミュレーション可能な状態を保つよう慎重に設計された損失関数を導入します。最後に、テクスチャ推定モジュールにより、グローバルおよびローカルに一貫性があり、入力ガイダンスを忠実に反映した高精細なテクスチャマップを生成し、生成された3Dアセットをレンダリングします。Garment3DGenを使用することで、ユーザーはアーティストの介入を必要とせずに、選択したテクスチャ付き3D衣類を生成できます。希望する衣類を記述したテキストプロンプトを提供することで、シミュレーション対応の3Dアセットを生成することが可能です。本論文では、実写および生成された様々なアセットに対する定量的および定性的な比較を多数提示し、シミュレーション対応の3D衣類を生成する方法のユースケースを提供します。

English

We introduce Garment3DGen a new method to synthesize 3D garment assets from a base mesh given a single input image as guidance. Our proposed approach allows users to generate 3D textured clothes based on both real and synthetic images, such as those generated by text prompts. The generated assets can be directly draped and simulated on human bodies. First, we leverage the recent progress of image to 3D diffusion methods to generate 3D garment geometries. However, since these geometries cannot be utilized directly for downstream tasks, we propose to use them as pseudo ground-truth and set up a mesh deformation optimization procedure that deforms a base template mesh to match the generated 3D target. Second, we introduce carefully designed losses that allow the input base mesh to freely deform towards the desired target, yet preserve mesh quality and topology such that they can be simulated. Finally, a texture estimation module generates high-fidelity texture maps that are globally and locally consistent and faithfully capture the input guidance, allowing us to render the generated 3D assets. With Garment3DGen users can generate the textured 3D garment of their choice without the need of artist intervention. One can provide a textual prompt describing the garment they desire to generate a simulation-ready 3D asset. We present a plethora of quantitative and qualitative comparisons on various assets both real and generated and provide use-cases of how one can generate simulation-ready 3D garments.