GarVerseLOD: レベルの詳細を持つデータセットを使用して、野生の画像から単一の高精度3D衣類再構築

GarVerseLOD: High-Fidelity 3D Garment Reconstruction from a Single In-the-Wild Image using a Dataset with Levels of Details

November 5, 2024

著者: Zhongjin Luo, Haolin Liu, Chenghong Li, Wanghao Du, Zirong Jin, Wanhu Sun, Yinyu Nie, Weikai Chen, Xiaoguang Han

cs.AI

要旨

ニューラル暗黙関数は、複数または単一の画像から衣服を着た人物のデジタル化の最先端技術に驚くべき進展をもたらしています。しかし、進歩があるにもかかわらず、現在のアートは複雑な布の変形や体のポーズを持つ未知の画像に一般化するのに依然として難しさを抱えています。本研究では、1 枚の制約のない画像から高精細な 3D 衣服再構築において前例のない堅牢性を実現するための道を開拓する新しいデータセットおよびフレームワークである GarVerseLOD を提案します。大規模生成モデルの最近の成功に触発され、一般化の課題に対処する鍵の 1 つは、3D 衣服データの量と質にあると考えています。この目的に向け、GarVerseLOD は、プロのアーティストによって手作業で作成された細かいジオメトリの詳細を持つ 6,000 個の高品質な布モデルを収集しています。トレーニングデータの規模に加えて、ジオメトリの分離された粒度を持つことが、学習モデルの一般化能力と推論精度の向上に重要な役割を果たすことを観察しています。そのため、GarVerseLOD を、詳細のないスタイル化された形状からピクセルに整列された詳細を持つポーズにブレンドされた衣服までのレベルの詳細 (LOD) を持つ階層的データセットとして構築しています。これにより、この高度に制約の少ない問題を、推論をより簡単なタスクに分解し、それぞれをより小さな探索空間で絞り込むことで扱いやすくしています。GarVerseLOD が野外の画像にうまく一般化するために、高い写実性を持つ各衣服モデルのための豊富なペア画像を生成するための条件付き拡散モデルに基づく新しいラベリングパラダイムを提案しています。我々の手法を大量の野外画像で評価しました。実験結果は、GarVerseLOD が従来の手法よりもはるかに優れた品質で独立した衣服ピースを生成できることを示しています。プロジェクトページ: https://garverselod.github.io/

English

Neural implicit functions have brought impressive advances to the state-of-the-art of clothed human digitization from multiple or even single images. However, despite the progress, current arts still have difficulty generalizing to unseen images with complex cloth deformation and body poses. In this work, we present GarVerseLOD, a new dataset and framework that paves the way to achieving unprecedented robustness in high-fidelity 3D garment reconstruction from a single unconstrained image. Inspired by the recent success of large generative models, we believe that one key to addressing the generalization challenge lies in the quantity and quality of 3D garment data. Towards this end, GarVerseLOD collects 6,000 high-quality cloth models with fine-grained geometry details manually created by professional artists. In addition to the scale of training data, we observe that having disentangled granularities of geometry can play an important role in boosting the generalization capability and inference accuracy of the learned model. We hence craft GarVerseLOD as a hierarchical dataset with levels of details (LOD), spanning from detail-free stylized shape to pose-blended garment with pixel-aligned details. This allows us to make this highly under-constrained problem tractable by factorizing the inference into easier tasks, each narrowed down with smaller searching space. To ensure GarVerseLOD can generalize well to in-the-wild images, we propose a novel labeling paradigm based on conditional diffusion models to generate extensive paired images for each garment model with high photorealism. We evaluate our method on a massive amount of in-the-wild images. Experimental results demonstrate that GarVerseLOD can generate standalone garment pieces with significantly better quality than prior approaches. Project page: https://garverselod.github.io/