DreamCAD: Skalierbare multimodale CAD-Generierung mittels differenzierbarer parametrischer Oberflächen
DreamCAD: Scaling Multi-modal CAD Generation using Differentiable Parametric Surfaces
March 5, 2026
Autoren: Mohammad Sadil Khan, Muhammad Usama, Rolandos Alexandros Potamias, Didier Stricker, Muhammad Zeshan Afzal, Jiankang Deng, Ismail Elezi
cs.AI
Zusammenfassung
Computer-Aided Design (CAD) basiert auf strukturierten und editierbaren geometrischen Repräsentationen, doch bestehende generative Methoden sind durch kleine annotierte Datensätze mit expliziten Konstruktionshistoriendaten oder Boundary Representation (BRep)-Labels eingeschränkt. Gleichzeitig bleiben Millionen von nicht annotierten 3D-Meshes ungenutzt, was den Fortschritt bei der skalierbaren CAD-Generierung begrenzt. Um dieses Problem zu lösen, schlagen wir DreamCAD vor, einen multimodalen generativen Rahmen, der direkt editierbare BReps aus Point-Level-Supervision erzeugt – ohne CAD-spezifische Annotationen. DreamCAD repräsentiert jede BRep als eine Menge parametrischer Patches (z.B. Bézier-Flächen) und verwendet eine differenzierbare Tessellierungsmethode, um Meshes zu generieren. Dies ermöglicht ein Training in großem Maßstab auf 3D-Datensätzen, während gleichzeitig zusammenhängende und editierbare Oberflächen rekonstruiert werden. Darüber hinaus führen wir CADCap-1M ein, den bisher größten CAD-Beschriftungsdatensatz mit über 1 Million mittels GPT-5 generierten Beschreibungen, um die Forschung im Bereich Text-zu-CAD voranzutreiben. DreamCAD erzielt state-of-the-art Ergebnisse auf den ABC- und Objaverse-Benchmarks über Text-, Bild- und Punktmodalitäten hinweg, verbessert die geometrische Treue und übertrifft eine Nutzerpräferenz von 75 %. Code und Datensatz werden öffentlich verfügbar sein.
English
Computer-Aided Design (CAD) relies on structured and editable geometric representations, yet existing generative methods are constrained by small annotated datasets with explicit design histories or boundary representation (BRep) labels. Meanwhile, millions of unannotated 3D meshes remain untapped, limiting progress in scalable CAD generation. To address this, we propose DreamCAD, a multi-modal generative framework that directly produces editable BReps from point-level supervision, without CAD-specific annotations. DreamCAD represents each BRep as a set of parametric patches (e.g., Bézier surfaces) and uses a differentiable tessellation method to generate meshes. This enables large-scale training on 3D datasets while reconstructing connected and editable surfaces. Furthermore, we introduce CADCap-1M, the largest CAD captioning dataset to date, with 1M+ descriptions generated using GPT-5 for advancing text-to-CAD research. DreamCAD achieves state-of-the-art performance on ABC and Objaverse benchmarks across text, image, and point modalities, improving geometric fidelity and surpassing 75% user preference. Code and dataset will be publicly available.