CraftsMan：3Dネイティブ生成とインタラクティブジオメトリリファイナーによる高忠実度メッシュ生成

CraftsMan: High-fidelity Mesh Generation with 3D Native Generation and Interactive Geometry Refiner

May 23, 2024

著者: Weiyu Li, Jiarui Liu, Rui Chen, Yixun Liang, Xuelin Chen, Ping Tan, Xiaoxiao Long

cs.AI

要旨

本論文では、CraftsManと名付けた新しい生成型3Dモデリングシステムを提案する。このシステムは、形状の多様性が高く、規則的なメッシュトポロジーと詳細な表面を持つ高精細な3Dジオメトリを生成し、さらにインタラクティブな方法でジオメトリを洗練することが可能である。3D生成技術の大幅な進展にもかかわらず、既存の手法は依然として最適化プロセスの長時間化、不規則なメッシュトポロジー、ノイズの多い表面、ユーザー編集の受け入れ難さといった課題に直面しており、これらが3Dモデリングソフトウェアへの広範な採用と実装を妨げている。我々の研究は、職人が通常、作品の全体像をまず大まかに形作り、その後表面の詳細を仕上げるというプロセスに着想を得ている。具体的には、ラテントセットベースの3D表現から学習されたラテント空間で動作する3Dネイティブな拡散モデルを採用し、規則的なメッシュトポロジーを持つ粗いジオメトリを数秒で生成する。特に、このプロセスではテキストプロンプトまたは参照画像を入力として受け取り、強力なマルチビュー（MV）拡散モデルを活用して粗いジオメトリの複数のビューを生成し、それらを我々のMV条件付き3D拡散モデルに供給して3Dジオメトリを生成することで、堅牢性と汎用性を大幅に向上させている。その後、法線ベースのジオメトリリファイナーを使用して表面の詳細を大幅に強化する。このリファインメントは自動的に行うことも、ユーザーが提供した編集とインタラクティブに行うことも可能である。広範な実験により、我々の手法が既存の手法と比較して優れた品質の3Dアセットを生成する上で高い効果を発揮することが実証された。ホームページ：https://craftsman3d.github.io/、コード：https://github.com/wyysf-98/CraftsMan

English

We present a novel generative 3D modeling system, coined CraftsMan, which can generate high-fidelity 3D geometries with highly varied shapes, regular mesh topologies, and detailed surfaces, and, notably, allows for refining the geometry in an interactive manner. Despite the significant advancements in 3D generation, existing methods still struggle with lengthy optimization processes, irregular mesh topologies, noisy surfaces, and difficulties in accommodating user edits, consequently impeding their widespread adoption and implementation in 3D modeling software. Our work is inspired by the craftsman, who usually roughs out the holistic figure of the work first and elaborates the surface details subsequently. Specifically, we employ a 3D native diffusion model, which operates on latent space learned from latent set-based 3D representations, to generate coarse geometries with regular mesh topology in seconds. In particular, this process takes as input a text prompt or a reference image and leverages a powerful multi-view (MV) diffusion model to generate multiple views of the coarse geometry, which are fed into our MV-conditioned 3D diffusion model for generating the 3D geometry, significantly improving robustness and generalizability. Following that, a normal-based geometry refiner is used to significantly enhance the surface details. This refinement can be performed automatically, or interactively with user-supplied edits. Extensive experiments demonstrate that our method achieves high efficacy in producing superior-quality 3D assets compared to existing methods. HomePage: https://craftsman3d.github.io/, Code: https://github.com/wyysf-98/CraftsMan