BRepCLIP: Pré-treinamento Multimodal Contrastivo em Primitivas BRep para Compreensão de CAD

Resumo

A aprendizagem de representações de modelos CAD é um problema amplamente em aberto. Embora a aprendizagem de representações 3D tenha florescido em torno de nuvens de pontos e malhas, o formato nativo de CAD – representações de fronteira (BReps), que codifica superfícies paramétricas exatas, curvas e sua topologia – tem recebido pouca atenção como substrato para aprendizado de representações. Apresentamos o BRepCLIP, a primeira estrutura a alinhar a geometria BRep com embeddings de linguagem e imagem por meio de pré-treinamento contrastivo. Modelamos cada objeto CAD como uma sequência de tokens de face e aresta, com vocabulários discretos separados para geometria de superfície e curva, aumentados com descritores espaciais e semânticos que capturam tipos de superfície (ex.: cilíndrica, toro, NURBS) e primitivas de curva (ex.: linha, arco, B-spline). Um codificador transformer agrega esses tokens em um embedding BRep global, alinhado com os codificadores de texto e imagem do CLIP por meio de um objetivo contrastivo conjunto. O BRepCLIP gera embeddings mais discriminativos e semanticamente fundamentados do que as alternativas baseadas em pontos existentes, melhorando a recuperação Top-1 sobre o OpenShape em 40,4%, 22,0% e 23,9% nos conjuntos ABC, CADParser e Automate, respectivamente, e melhorando a classificação zero-shot no FabWave em 15% na pontuação Top-1. Demonstramos ainda sua utilidade como métrica de similaridade consciente de CAD para avaliar geração de CAD condicionada a texto e imagem, estabelecendo a importância do pré-treinamento consciente da estrutura para a compreensão multimodal de CAD. A página do projeto está disponível em https://muhammadusama100.github.io/BrepClip2026/

English

Learning representations of CAD models is a largely open problem. While 3D representation learning has flourished around point clouds and meshes, the native format of CAD - boundary representations BReps, which encodes exact parametric surfaces, curves, and their topology, has received little attention as a representation learning substrate. We introduce BRepCLIP, the first framework to align BRep geometry with language and image embeddings through contrastive pretraining. We model each CAD object as a sequence of face and edge tokens with separate discrete vocabularies for surface and curve geometry, augmented with spatial and semantic descriptors that capture surface types (e.g., cylindrical, torus, NURBS) and curve primitives (e.g., line, arc, B-spline). A transformer encoder aggregates these tokens into a global BRep embedding, aligned with CLIP's text and image encoders via a joint contrastive objective. BRepCLIP generates more discriminative and semantically grounded embeddings than existing point-based alternatives, improving Top-1 retrieval over OpenShape by 40.4%, 22.0%, and 23.9% on ABC, CADParser, and Automate, respectively, and improving zero-shot classification on FabWave by 15% in Top-1 score. We further demonstrate its utility as a CAD-aware similarity metric for evaluating text and image-conditioned CAD generation, establishing the importance of structure-aware pretraining for multimodal CAD understanding. Project page is available at https://muhammadusama100.github.io/BrepClip2026/