CAD 편집기: 자동화된 훈련 데이터 합성을 통한 찾기-채우기 프레임워크 텍스트 기반 CAD 편집

CAD-Editor: A Locate-then-Infill Framework with Automated Training Data Synthesis for Text-Based CAD Editing

February 6, 2025

저자: Yu Yuan, Shizhao Sun, Qi Liu, Jiang Bian

cs.AI

초록

컴퓨터 지원 설계 (CAD)는 다양한 산업 분야에서 필수적입니다. 텍스트 기반 CAD 편집은 CAD 모델을 텍스트 명령에 따라 자동으로 수정하는 것으로, 큰 잠재력을 가지고 있지만 아직 충분히 탐구되지 않았습니다. 기존 방법은 주로 설계 변형 생성이나 텍스트 기반 CAD 생성에 중점을 두고 있으며, 텍스트 기반 제어를 지원하지 않거나 기존 CAD 모델을 제약 조건으로 간과하는 경우가 많습니다. 우리는 텍스트 기반 CAD 편집을 위한 최초의 프레임워크인 CAD-Editor를 소개합니다. 훈련을 위해 정확한 대응을 가진 요구적인 삼쌍 데이터에 대한 도전을 해결하기 위해 자동 데이터 합성 파이프라인을 제안합니다. 이 파이프라인은 설계 변형 모델을 활용하여 원본 및 편집된 CAD 모델 쌍을 생성하고, 이들의 차이를 편집 명령으로 요약하는 대형 비전-언어 모델 (LVLMs)을 활용합니다. 텍스트 기반 CAD 편집의 복합적 성격에 대처하기 위해, 우리는 위치 찾기-채우기 프레임워크를 제안합니다. 이 프레임워크는 작업을 수정이 필요한 영역을 찾기 위해 분해하고, 이러한 영역을 적절한 편집으로 채우는 두 가지 집중된 하위 작업으로 구성됩니다. 대형 언어 모델 (LLMs)은 자연어 이해 및 CAD 지식 능력을 활용하여 두 하위 작업의 백본 역할을 합니다. 실험 결과, CAD-Editor가 양적 및 질적으로 우수한 성능을 달성함을 보여줍니다.

English

Computer Aided Design (CAD) is indispensable across various industries. Text-based CAD editing, which automates the modification of CAD models based on textual instructions, holds great potential but remains underexplored. Existing methods primarily focus on design variation generation or text-based CAD generation, either lacking support for text-based control or neglecting existing CAD models as constraints. We introduce CAD-Editor, the first framework for text-based CAD editing. To address the challenge of demanding triplet data with accurate correspondence for training, we propose an automated data synthesis pipeline. This pipeline utilizes design variation models to generate pairs of original and edited CAD models and employs Large Vision-Language Models (LVLMs) to summarize their differences into editing instructions. To tackle the composite nature of text-based CAD editing, we propose a locate-then-infill framework that decomposes the task into two focused sub-tasks: locating regions requiring modification and infilling these regions with appropriate edits. Large Language Models (LLMs) serve as the backbone for both sub-tasks, leveraging their capabilities in natural language understanding and CAD knowledge. Experiments show that CAD-Editor achieves superior performance both quantitatively and qualitatively.