BRepCLIP: Kontrastives multimodales Vortraining auf BRep-Primitiven für CAD-Verständnis

Zusammenfassung

Das Lernen von Repräsentationen von CAD-Modellen ist ein weitgehend ungelöstes Problem. Während das 3D-Repräsentationslernen rund um Punktwolken und Netze floriert, hat das native Format von CAD – Boundary-Repräsentationen (BReps), die exakte parametrische Flächen, Kurven und deren Topologie codieren – als Substrat für das Repräsentationslernen wenig Beachtung gefunden. Wir stellen BRepCLIP vor, das erste Framework, das BRep-Geometrie durch kontrastives Vortraining mit Sprach- und Bildeinbettungen abgleicht. Wir modellieren jedes CAD-Objekt als Sequenz von Flächen- und Kanten-Tokens mit separaten diskreten Vokabularen für Flächen- und Kurvengeometrie, ergänzt um räumliche und semantische Deskriptoren, die Flächentypen (z. B. zylindrisch, Torus, NURBS) und Kurvenprimitive (z. B. Linie, Bogen, B-Spline) erfassen. Ein Transformer-Encoder aggregiert diese Tokens zu einer globalen BRep-Einbettung, die über ein gemeinsames kontrastives Ziel mit den Text- und Bild-Encodern von CLIP abgeglichen wird. BRepCLIP erzeugt diskriminativere und semantisch fundiertere Einbettungen als bestehende punktbasierte Alternativen und verbessert das Top-1-Retrieval gegenüber OpenShape um 40,4 %, 22,0 % bzw. 23,9 % auf ABC, CADParser und Automate sowie die Zero-Shot-Klassifikation auf FabWave um 15 % im Top-1-Score. Wir demonstrieren weiterhin seinen Nutzen als CAD-bewusste Ähnlichkeitsmetrik zur Bewertung von text- und bildgesteuerter CAD-Generierung und unterstreichen die Bedeutung strukturbewussten Vortrainings für das multimodale CAD-Verständnis. Die Projektseite ist verfügbar unter https://muhammadusama100.github.io/BrepClip2026/

English

Learning representations of CAD models is a largely open problem. While 3D representation learning has flourished around point clouds and meshes, the native format of CAD - boundary representations BReps, which encodes exact parametric surfaces, curves, and their topology, has received little attention as a representation learning substrate. We introduce BRepCLIP, the first framework to align BRep geometry with language and image embeddings through contrastive pretraining. We model each CAD object as a sequence of face and edge tokens with separate discrete vocabularies for surface and curve geometry, augmented with spatial and semantic descriptors that capture surface types (e.g., cylindrical, torus, NURBS) and curve primitives (e.g., line, arc, B-spline). A transformer encoder aggregates these tokens into a global BRep embedding, aligned with CLIP's text and image encoders via a joint contrastive objective. BRepCLIP generates more discriminative and semantically grounded embeddings than existing point-based alternatives, improving Top-1 retrieval over OpenShape by 40.4%, 22.0%, and 23.9% on ABC, CADParser, and Automate, respectively, and improving zero-shot classification on FabWave by 15% in Top-1 score. We further demonstrate its utility as a CAD-aware similarity metric for evaluating text and image-conditioned CAD generation, establishing the importance of structure-aware pretraining for multimodal CAD understanding. Project page is available at https://muhammadusama100.github.io/BrepClip2026/