BRepCLIP: Контрастивное мультимодальное предобучение на BRep-примитивах для понимания CAD

Аннотация

Обучение представлениям моделей САПР является в значительной степени открытой проблемой. Хотя обучение трехмерным представлениям активно развивалось на основе облаков точек и сеток, нативный формат САПР — граничные представления (BReps), которые кодируют точные параметрические поверхности, кривые и их топологию, — получил мало внимания в качестве основы для обучения представлениям. Мы представляем BRepCLIP — первую структуру, которая согласовывает геометрию BRep с языковыми и изображенческими эмбеддингами с помощью контрастивного предобучения. Мы моделируем каждый объект САПР как последовательность токенов граней и ребер с отдельными дискретными словарями для геометрии поверхностей и кривых, дополненную пространственными и семантическими дескрипторами, которые описывают типы поверхностей (например, цилиндрическая, тор, NURBS) и примитивы кривых (например, линия, дуга, B-сплайн). Трансформерный кодировщик агрегирует эти токены в глобальный BRep-эмбеддинг, согласованный с текстовым и изображенческим кодировщиками CLIP с помощью совместной контрастивной цели. BRepCLIP генерирует более дискриминативные и семантически обоснованные эмбеддинги по сравнению с существующими точечными альтернативами, улучшая Top-1 поиск по сравнению с OpenShape на 40.4%, 22.0% и 23.9% на наборах данных ABC, CADParser и Automate соответственно, а также улучшая нуль-шотовую классификацию на FabWave на 15% по показателю Top-1. Мы также демонстрируем его полезность в качестве метрики схожести с учетом особенностей САПР для оценки генерации САПР по тексту и изображению, подчеркивая важность предобучения с учетом структуры для мультимодального понимания САПР. Страница проекта доступна по адресу https://muhammadusama100.github.io/BrepClip2026/

English

Learning representations of CAD models is a largely open problem. While 3D representation learning has flourished around point clouds and meshes, the native format of CAD - boundary representations BReps, which encodes exact parametric surfaces, curves, and their topology, has received little attention as a representation learning substrate. We introduce BRepCLIP, the first framework to align BRep geometry with language and image embeddings through contrastive pretraining. We model each CAD object as a sequence of face and edge tokens with separate discrete vocabularies for surface and curve geometry, augmented with spatial and semantic descriptors that capture surface types (e.g., cylindrical, torus, NURBS) and curve primitives (e.g., line, arc, B-spline). A transformer encoder aggregates these tokens into a global BRep embedding, aligned with CLIP's text and image encoders via a joint contrastive objective. BRepCLIP generates more discriminative and semantically grounded embeddings than existing point-based alternatives, improving Top-1 retrieval over OpenShape by 40.4%, 22.0%, and 23.9% on ABC, CADParser, and Automate, respectively, and improving zero-shot classification on FabWave by 15% in Top-1 score. We further demonstrate its utility as a CAD-aware similarity metric for evaluating text and image-conditioned CAD generation, establishing the importance of structure-aware pretraining for multimodal CAD understanding. Project page is available at https://muhammadusama100.github.io/BrepClip2026/