DreamCAD: 微分可能パラメトリック曲面を用いたマルチモーダルCAD生成のスケーリング

要旨

コンピュータ支援設計（CAD）は構造化され編集可能な幾何学的表現に依存しているが、既存の生成手法は、明示的な設計履歴や境界表現（BRep）ラベルを持つ小規模な注釈付きデータセットに制約されている。一方で、数百万に上る未注釈の3Dメッシュは未活用のままであり、スケーラブルなCAD生成の進展を妨げている。この問題に対処するため、我々はDreamCADを提案する。これはポイントレベルの教師信号から編集可能なBRepを直接生成するマルチモーダル生成フレームワークであり、CAD固有の注釈を必要としない。DreamCADは各BRepをパラメトリックパッチ（例：ベジエ曲面）の集合として表現し、微分可能なテッセレーション手法を用いてメッシュを生成する。これにより、3Dデータセットを用いた大規模な学習が可能となり、接続された編集可能な曲面の再構築を実現する。さらに、テキストからCADへの研究を推進するため、GPT-5を用いて生成された100万以上の記述を含む、史上最大のCADキャプションデータセットであるCADCap-1Mを導入する。DreamCADは、テキスト、画像、ポイントの各モダリティにおいてABCおよびObjaverseベンチマークで最先端の性能を達成し、幾何学的忠実度を向上させ、75%を超えるユーザー選好性を実現した。コードとデータセットは公開予定である。

English

Computer-Aided Design (CAD) relies on structured and editable geometric representations, yet existing generative methods are constrained by small annotated datasets with explicit design histories or boundary representation (BRep) labels. Meanwhile, millions of unannotated 3D meshes remain untapped, limiting progress in scalable CAD generation. To address this, we propose DreamCAD, a multi-modal generative framework that directly produces editable BReps from point-level supervision, without CAD-specific annotations. DreamCAD represents each BRep as a set of parametric patches (e.g., Bézier surfaces) and uses a differentiable tessellation method to generate meshes. This enables large-scale training on 3D datasets while reconstructing connected and editable surfaces. Furthermore, we introduce CADCap-1M, the largest CAD captioning dataset to date, with 1M+ descriptions generated using GPT-5 for advancing text-to-CAD research. DreamCAD achieves state-of-the-art performance on ABC and Objaverse benchmarks across text, image, and point modalities, improving geometric fidelity and surpassing 75% user preference. Code and dataset will be publicly available.

DreamCAD: 微分可能パラメトリック曲面を用いたマルチモーダルCAD生成のスケーリング

DreamCAD: Scaling Multi-modal CAD Generation using Differentiable Parametric Surfaces

要旨

Support