Part123: 単一視点画像からのパート認識型3D再構成

Part123: Part-aware 3D Reconstruction from a Single-view Image

May 27, 2024

著者: Anran Liu, Cheng Lin, Yuan Liu, Xiaoxiao Long, Zhiyang Dou, Hao-Xiang Guo, Ping Luo, Wenping Wang

cs.AI

要旨

近年、拡散モデルの登場により、単一視点からの3次元再構成に新たな可能性が開かれました。しかし、既存の手法はすべて、対象物を構造情報を持たない閉じたメッシュとして表現しており、再構成形状の部品ベースの構造を見落としています。この構造は、多くの下流アプリケーションにとって重要な要素です。さらに、生成されたメッシュは通常、大きなノイズ、滑らかでない表面、ぼやけたテクスチャなどの問題を抱えており、3次元セグメンテーション技術を用いて満足のいく部品セグメントを得ることが困難です。本論文では、単一視点画像からの部品を考慮した3次元再構成のための新しいフレームワークであるPart123を提案します。まず、拡散モデルを使用して与えられた画像から多視点整合性のある画像を生成し、次に任意のオブジェクトに対して強力な汎化能力を示すSegment Anything Model（SAM）を活用して多視点セグメンテーションマスクを生成します。2次元の部品ベースの情報を3次元再構成に効果的に組み込み、不整合を処理するために、ニューラルレンダリングフレームワークにコントラスティブラーニングを導入し、多視点セグメンテーションマスクに基づいて部品を考慮した特徴空間を学習します。また、再構成されたモデルから3次元部品セグメンテーション結果を自動的に導出するためのクラスタリングベースのアルゴリズムも開発しました。実験結果は、我々の手法が様々なオブジェクトに対して高品質なセグメント化された部品を持つ3次元モデルを生成できることを示しています。既存の非構造化再構成手法と比較して、我々の手法による部品を考慮した3次元モデルは、特徴保存再構成、プリミティブフィッティング、3次元形状編集などの重要なアプリケーションに有益です。

English

Recently, the emergence of diffusion models has opened up new opportunities for single-view reconstruction. However, all the existing methods represent the target object as a closed mesh devoid of any structural information, thus neglecting the part-based structure, which is crucial for many downstream applications, of the reconstructed shape. Moreover, the generated meshes usually suffer from large noises, unsmooth surfaces, and blurry textures, making it challenging to obtain satisfactory part segments using 3D segmentation techniques. In this paper, we present Part123, a novel framework for part-aware 3D reconstruction from a single-view image. We first use diffusion models to generate multiview-consistent images from a given image, and then leverage Segment Anything Model (SAM), which demonstrates powerful generalization ability on arbitrary objects, to generate multiview segmentation masks. To effectively incorporate 2D part-based information into 3D reconstruction and handle inconsistency, we introduce contrastive learning into a neural rendering framework to learn a part-aware feature space based on the multiview segmentation masks. A clustering-based algorithm is also developed to automatically derive 3D part segmentation results from the reconstructed models. Experiments show that our method can generate 3D models with high-quality segmented parts on various objects. Compared to existing unstructured reconstruction methods, the part-aware 3D models from our method benefit some important applications, including feature-preserving reconstruction, primitive fitting, and 3D shape editing.