DreamCAD: Schaalvergroting van multi-modale CAD-generatie met differentieerbare parametrische oppervlakken
DreamCAD: Scaling Multi-modal CAD Generation using Differentiable Parametric Surfaces
March 5, 2026
Auteurs: Mohammad Sadil Khan, Muhammad Usama, Rolandos Alexandros Potamias, Didier Stricker, Muhammad Zeshan Afzal, Jiankang Deng, Ismail Elezi
cs.AI
Samenvatting
Computer-Aided Design (CAD) steunt op gestructureerde en bewerkbare geometrische representaties, maar bestaande generatieve methoden worden beperkt door kleine, geannoteerde datasets met expliciete ontwerpgeschiedenissen of boundary representation (BRep)-labels. Ondertussen blijven miljoenen niet-geannoteerde 3D-meshes onbenut, wat de vooruitgang in schaalbare CAD-generatie belemmert. Om dit aan te pakken, stellen we DreamCAD voor, een multimodaal generatief framework dat direct bewerkbare BReps produceert vanuit point-level supervisie, zonder CAD-specifieke annotaties. DreamCAD vertegenwoordigt elke BRep als een set van parametrische patches (bijvoorbeeld Bézier-oppervlakken) en gebruikt een differentieerbare tessellatiemethode om meshes te genereren. Dit maakt grootschalige training op 3D-datasets mogelijk, terwijl verbonden en bewerkbare oppervlakken worden gereconstrueerd. Verder introduceren we CADCap-1M, de grootste CAD-beschrijvingsdataset tot nu toe, met meer dan 1 miljoen beschrijvingen gegenereerd met GPT-5, om onderzoek naar text-to-CAD te bevorderen. DreamCAD behaalt state-of-the-art prestaties op de ABC- en Objaverse-benchmarks voor tekst-, beeld- en pointmodaliteiten, verbetert de geometrische nauwkeurigheid en overstijgt een gebruikersvoorkeur van 75%. Code en dataset zullen openbaar beschikbaar worden gesteld.
English
Computer-Aided Design (CAD) relies on structured and editable geometric representations, yet existing generative methods are constrained by small annotated datasets with explicit design histories or boundary representation (BRep) labels. Meanwhile, millions of unannotated 3D meshes remain untapped, limiting progress in scalable CAD generation. To address this, we propose DreamCAD, a multi-modal generative framework that directly produces editable BReps from point-level supervision, without CAD-specific annotations. DreamCAD represents each BRep as a set of parametric patches (e.g., Bézier surfaces) and uses a differentiable tessellation method to generate meshes. This enables large-scale training on 3D datasets while reconstructing connected and editable surfaces. Furthermore, we introduce CADCap-1M, the largest CAD captioning dataset to date, with 1M+ descriptions generated using GPT-5 for advancing text-to-CAD research. DreamCAD achieves state-of-the-art performance on ABC and Objaverse benchmarks across text, image, and point modalities, improving geometric fidelity and surpassing 75% user preference. Code and dataset will be publicly available.