DreamCAD: Escalonando a Geração de CAD Multi-modal usando Superfícies Paramétricas Diferenciáveis
DreamCAD: Scaling Multi-modal CAD Generation using Differentiable Parametric Surfaces
March 5, 2026
Autores: Mohammad Sadil Khan, Muhammad Usama, Rolandos Alexandros Potamias, Didier Stricker, Muhammad Zeshan Afzal, Jiankang Deng, Ismail Elezi
cs.AI
Resumo
O Design Assistido por Computador (CAD) baseia-se em representações geométricas estruturadas e editáveis, no entanto, os métodos generativos existentes são limitados por pequenos conjuntos de dados anotados com históricos de design explícitos ou etiquetas de representação de fronteira (BRep). Entretanto, milhões de malhas 3D não anotadas permanecem inexploradas, limitando o progresso na geração escalável de CAD. Para resolver isso, propomos o DreamCAD, uma estrutura generativa multimodal que produz diretamente BReps editáveis a partir de supervisão a nível de pontos, sem anotações específicas de CAD. O DreamCAD representa cada BRep como um conjunto de patches paramétricos (por exemplo, superfícies de Bézier) e utiliza um método de tesselação diferenciável para gerar malhas. Isso permite o treinamento em larga escala em conjuntos de dados 3D, ao mesmo tempo que reconstrói superfícies conectadas e editáveis. Além disso, introduzimos o CADCap-1M, o maior conjunto de dados de legendagem de CAD até à data, com mais de 1 milhão de descrições geradas usando o GPT-5 para avançar a pesquisa em texto-para-CAD. O DreamCAD alcança um desempenho de última geração nos benchmarks ABC e Objaverse através de modalidades de texto, imagem e ponto, melhorando a fidelidade geométrica e superando 75% da preferência do utilizador. O código e o conjunto de dados estarão publicamente disponíveis.
English
Computer-Aided Design (CAD) relies on structured and editable geometric representations, yet existing generative methods are constrained by small annotated datasets with explicit design histories or boundary representation (BRep) labels. Meanwhile, millions of unannotated 3D meshes remain untapped, limiting progress in scalable CAD generation. To address this, we propose DreamCAD, a multi-modal generative framework that directly produces editable BReps from point-level supervision, without CAD-specific annotations. DreamCAD represents each BRep as a set of parametric patches (e.g., Bézier surfaces) and uses a differentiable tessellation method to generate meshes. This enables large-scale training on 3D datasets while reconstructing connected and editable surfaces. Furthermore, we introduce CADCap-1M, the largest CAD captioning dataset to date, with 1M+ descriptions generated using GPT-5 for advancing text-to-CAD research. DreamCAD achieves state-of-the-art performance on ABC and Objaverse benchmarks across text, image, and point modalities, improving geometric fidelity and surpassing 75% user preference. Code and dataset will be publicly available.