DreamCAD: 미분 가능한 파라메트릭 곡면을 활용한 멀티모달 CAD 생성 확장

초록

컴퓨터 지원 설계(CAD)는 구조화되고 편집 가능한 기하학적 표현에 의존하지만, 기존 생성 방법은 명시적 설계 기록이나 경계 표현(BRep) 레이블이 포함된 소규모 주석 데이터셋에 제한됩니다. 반면 수백만 개의 주석 없는 3D 메쉬는 활용되지 못해 확장 가능한 CAD 생성 연구의 발전을 저해하고 있습니다. 이를 해결하기 위해 우리는 CAD 특화 주석 없이 포인트 수준 감독만으로 편집 가능한 BRep를 직접 생성하는 다중 모달 생성 프레임워크인 DreamCAD를 제안합니다. DreamCAD는 각 BRep를 매개변수 패치(예: 베지어 곡면) 집합으로 표현하고, 미분 가능 테셀레이션 방법을 사용하여 메쉬를 생성합니다. 이를 통해 3D 데이터셋에서 대규모 학습이 가능하면서도 연결되고 편집 가능한 곡면 재구성이 가능합니다. 또한 텍스트-CAD 연구 발전을 위해 GPT-5로 생성된 100만 개 이상의 설명을 포함하는 역대 최대 규모의 CAD 캡셔닝 데이터셋인 CADCap-1M을 소개합니다. DreamCAD는 텍스트, 이미지, 포인트 모드에서 ABC 및 Objaverse 벤치마크에 대해 최첨단 성능을 달성하며 기하학적 정확도를 향상하고 75% 이상의 사용자 선호도를 기록했습니다. 코드와 데이터셋은 공개될 예정입니다.

English

Computer-Aided Design (CAD) relies on structured and editable geometric representations, yet existing generative methods are constrained by small annotated datasets with explicit design histories or boundary representation (BRep) labels. Meanwhile, millions of unannotated 3D meshes remain untapped, limiting progress in scalable CAD generation. To address this, we propose DreamCAD, a multi-modal generative framework that directly produces editable BReps from point-level supervision, without CAD-specific annotations. DreamCAD represents each BRep as a set of parametric patches (e.g., Bézier surfaces) and uses a differentiable tessellation method to generate meshes. This enables large-scale training on 3D datasets while reconstructing connected and editable surfaces. Furthermore, we introduce CADCap-1M, the largest CAD captioning dataset to date, with 1M+ descriptions generated using GPT-5 for advancing text-to-CAD research. DreamCAD achieves state-of-the-art performance on ABC and Objaverse benchmarks across text, image, and point modalities, improving geometric fidelity and surpassing 75% user preference. Code and dataset will be publicly available.

DreamCAD: 미분 가능한 파라메트릭 곡면을 활용한 멀티모달 CAD 생성 확장

DreamCAD: Scaling Multi-modal CAD Generation using Differentiable Parametric Surfaces

초록

Support