MeshCraft: フローベースDiTを用いた効率的かつ制御可能なメッシュ生成の探求

MeshCraft: Exploring Efficient and Controllable Mesh Generation with Flow-based DiTs

March 29, 2025

著者: Xianglong He, Junyi Chen, Di Huang, Zexiang Liu, Xiaoshui Huang, Wanli Ouyang, Chun Yuan, Yangguang Li

cs.AI

要旨

3Dコンテンツ制作の領域において、AIモデルを通じて最適なメッシュトポロジーを実現することは、長らく3Dアーティストたちの追求目標でした。従来の手法、例えばMeshGPTは、メッシュの自己回帰技術を用いて即座に使用可能な3Dオブジェクトを生成する方法を探求してきました。これらの手法は視覚的に印象的な結果を生み出すものの、自己回帰プロセスにおけるトークンごとの予測への依存により、いくつかの重大な制限が生じます。これには、極めて遅い生成速度や、制御不能なメッシュ面の数が含まれます。本論文では、効率的かつ制御可能なメッシュ生成のための新しいフレームワークであるMeshCraftを紹介します。MeshCraftは、連続的な空間拡散を活用して離散的な三角形面を生成します。具体的には、MeshCraftは2つのコアコンポーネントで構成されています：1) 生のメッシュを連続的な面レベルトークンにエンコードし、元のメッシュにデコードするトランスフォーマーベースのVAE、および2) 面の数に条件付けられたフローベースの拡散トランスフォーマーで、事前に定義された面の数を持つ高品質な3Dメッシュを生成します。拡散モデルを活用してメッシュトポロジー全体を同時に生成することにより、MeshCraftは自己回帰手法と比較して大幅に高速な高忠実度メッシュ生成を実現します。具体的には、MeshCraftは800面のメッシュをわずか3.2秒で生成できます（既存のベースラインよりも35倍高速）。ShapeNetデータセットにおける定性的および定量的評価において、MeshCraftは最先端の技術を凌駕し、Objaverseデータセットでも優れた性能を示します。さらに、既存の条件付きガイダンス戦略とシームレスに統合され、メッシュ作成に伴う時間のかかる手作業からアーティストを解放する可能性を示しています。

English

In the domain of 3D content creation, achieving optimal mesh topology through AI models has long been a pursuit for 3D artists. Previous methods, such as MeshGPT, have explored the generation of ready-to-use 3D objects via mesh auto-regressive techniques. While these methods produce visually impressive results, their reliance on token-by-token predictions in the auto-regressive process leads to several significant limitations. These include extremely slow generation speeds and an uncontrollable number of mesh faces. In this paper, we introduce MeshCraft, a novel framework for efficient and controllable mesh generation, which leverages continuous spatial diffusion to generate discrete triangle faces. Specifically, MeshCraft consists of two core components: 1) a transformer-based VAE that encodes raw meshes into continuous face-level tokens and decodes them back to the original meshes, and 2) a flow-based diffusion transformer conditioned on the number of faces, enabling the generation of high-quality 3D meshes with a predefined number of faces. By utilizing the diffusion model for the simultaneous generation of the entire mesh topology, MeshCraft achieves high-fidelity mesh generation at significantly faster speeds compared to auto-regressive methods. Specifically, MeshCraft can generate an 800-face mesh in just 3.2 seconds (35times faster than existing baselines). Extensive experiments demonstrate that MeshCraft outperforms state-of-the-art techniques in both qualitative and quantitative evaluations on ShapeNet dataset and demonstrates superior performance on Objaverse dataset. Moreover, it integrates seamlessly with existing conditional guidance strategies, showcasing its potential to relieve artists from the time-consuming manual work involved in mesh creation.