DreamCAD : Mise à l'échelle de la génération de CAO multi-modale à l'aide de surfaces paramétriques différentiables
DreamCAD: Scaling Multi-modal CAD Generation using Differentiable Parametric Surfaces
March 5, 2026
Auteurs: Mohammad Sadil Khan, Muhammad Usama, Rolandos Alexandros Potamias, Didier Stricker, Muhammad Zeshan Afzal, Jiankang Deng, Ismail Elezi
cs.AI
Résumé
La Conception Assistée par Ordinateur (CAO) repose sur des représentations géométriques structurées et modifiables, mais les méthodes génératives existantes sont limitées par de petits ensembles de données annotées avec des historiques de conception explicites ou des étiquettes de représentation frontalière (BRep). Pendant ce temps, des millions de maillages 3D non annotés restent inexploités, freinant les progrès dans la génération de CAO évolutive. Pour résoudre ce problème, nous proposons DreamCAD, un cadre génératif multimodal qui produit directement des BRep modifiables à partir d'une supervision au niveau des points, sans annotations spécifiques à la CAO. DreamCAD représente chaque BRep comme un ensemble de patches paramétriques (par exemple, des surfaces de Bézier) et utilise une méthode de tessellation différentiable pour générer des maillages. Cela permet un entraînement à grande échelle sur des ensembles de données 3D tout en reconstruisant des surfaces connectées et modifiables. De plus, nous présentons CADCap-1M, le plus grand ensemble de données d'étiquetage de CAO à ce jour, avec plus d'un million de descriptions générées à l'aide de GPT-5 pour faire avancer la recherche en texte-vers-CAO. DreamCAD obtient des performances de pointe sur les benchmarks ABC et Objaverse pour les modalités texte, image et point, améliorant la fidélité géométrique et dépassant 75% de préférence utilisateur. Le code et l'ensemble de données seront rendus publics.
English
Computer-Aided Design (CAD) relies on structured and editable geometric representations, yet existing generative methods are constrained by small annotated datasets with explicit design histories or boundary representation (BRep) labels. Meanwhile, millions of unannotated 3D meshes remain untapped, limiting progress in scalable CAD generation. To address this, we propose DreamCAD, a multi-modal generative framework that directly produces editable BReps from point-level supervision, without CAD-specific annotations. DreamCAD represents each BRep as a set of parametric patches (e.g., Bézier surfaces) and uses a differentiable tessellation method to generate meshes. This enables large-scale training on 3D datasets while reconstructing connected and editable surfaces. Furthermore, we introduce CADCap-1M, the largest CAD captioning dataset to date, with 1M+ descriptions generated using GPT-5 for advancing text-to-CAD research. DreamCAD achieves state-of-the-art performance on ABC and Objaverse benchmarks across text, image, and point modalities, improving geometric fidelity and surpassing 75% user preference. Code and dataset will be publicly available.