CADエディター：自動トレーニングデータ合成を備えたロケートして補完するフレームワーク テキストベースのCAD編集向け

CAD-Editor: A Locate-then-Infill Framework with Automated Training Data Synthesis for Text-Based CAD Editing

February 6, 2025

著者: Yu Yuan, Shizhao Sun, Qi Liu, Jiang Bian

cs.AI

要旨

コンピュータ支援設計（CAD）は、さまざまな産業分野で不可欠です。テキストベースのCAD編集は、CADモデルの修正をテキスト指示に基づいて自動化するものであり、大きな潜在能力を持ちながらも未開拓の領域です。既存の手法は、主に設計変動の生成またはテキストベースのCAD生成に焦点を当てており、テキストベースの制御をサポートしていないか、既存のCADモデルを制約として無視していることが多いです。我々は、テキストベースのCAD編集のための最初のフレームワークであるCAD-Editorを紹介します。訓練に正確な対応を持つ要求の厳しい三つ組データの課題に対処するために、自動化されたデータ合成パイプラインを提案します。このパイプラインは、設計変動モデルを活用して元のCADモデルと編集されたCADモデルのペアを生成し、その違いを編集指示に要約するために大規模ビジョン言語モデル（LVLMs）を使用します。テキストベースのCAD編集の複合的な性質に対処するために、私たちは、タスクを2つの焦点を当てたサブタスクに分解する「位置を特定して埋める」フレームワークを提案します。修正が必要な領域を特定し、適切な編集でこれらの領域を埋めることを目的としています。大規模言語モデル（LLMs）は、自然言語理解とCAD知識の能力を活用し、両方のサブタスクのバックボーンとして機能します。実験結果は、CAD-Editorが定量的および定性的に優れた性能を達成していることを示しています。

English

Computer Aided Design (CAD) is indispensable across various industries. Text-based CAD editing, which automates the modification of CAD models based on textual instructions, holds great potential but remains underexplored. Existing methods primarily focus on design variation generation or text-based CAD generation, either lacking support for text-based control or neglecting existing CAD models as constraints. We introduce CAD-Editor, the first framework for text-based CAD editing. To address the challenge of demanding triplet data with accurate correspondence for training, we propose an automated data synthesis pipeline. This pipeline utilizes design variation models to generate pairs of original and edited CAD models and employs Large Vision-Language Models (LVLMs) to summarize their differences into editing instructions. To tackle the composite nature of text-based CAD editing, we propose a locate-then-infill framework that decomposes the task into two focused sub-tasks: locating regions requiring modification and infilling these regions with appropriate edits. Large Language Models (LLMs) serve as the backbone for both sub-tasks, leveraging their capabilities in natural language understanding and CAD knowledge. Experiments show that CAD-Editor achieves superior performance both quantitatively and qualitatively.