CAD-Editor: Een raamwerk voor lokaliseren en aanvullen met geautomatiseerde trainingsgegevens voor tekstgebaseerde CAD-bewerking.

CAD-Editor: A Locate-then-Infill Framework with Automated Training Data Synthesis for Text-Based CAD Editing

February 6, 2025

Auteurs: Yu Yuan, Shizhao Sun, Qi Liu, Jiang Bian

cs.AI

Samenvatting

Computer Aided Design (CAD) is onmisbaar in verschillende industrieën. Tekstgebaseerde CAD-bewerking, die de aanpassing van CAD-modellen automatiseert op basis van tekstuele instructies, heeft veel potentieel maar is nog onderbelicht. Bestaande methoden richten zich voornamelijk op het genereren van ontwerpvariaties of tekstgebaseerde CAD-generatie, waarbij ondersteuning voor tekstgebaseerde controle ontbreekt of bestaande CAD-modellen als beperkingen worden genegeerd. Wij introduceren CAD-Editor, het eerste kader voor tekstgebaseerde CAD-bewerking. Om het uitdagende triplet data probleem met nauwkeurige overeenkomsten voor training aan te pakken, stellen wij een geautomatiseerde gegevenssynthesepijplijn voor. Deze pijplijn maakt gebruik van ontwerpvariatie modellen om paren van originele en bewerkte CAD-modellen te genereren en maakt gebruik van Grote Visie-Taal Modellen (LVLMs) om hun verschillen samen te vatten in bewerkingsinstructies. Om de samengestelde aard van tekstgebaseerde CAD-bewerking aan te pakken, stellen wij een lokaliseer-en-invul kader voor dat de taak opsplitst in twee gerichte subtaken: het lokaliseren van regio's die aanpassing vereisen en het invullen van deze regio's met passende bewerkingen. Grote Taalmodellen (LLMs) dienen als de ruggengraat voor beide subtaken, waarbij zij profiteren van hun capaciteiten op het gebied van natuurlijke taalbegrip en CAD-kennis. Experimenten tonen aan dat CAD-Editor zowel kwantitatief als kwalitatief superieure prestaties behaalt.

English

Computer Aided Design (CAD) is indispensable across various industries. Text-based CAD editing, which automates the modification of CAD models based on textual instructions, holds great potential but remains underexplored. Existing methods primarily focus on design variation generation or text-based CAD generation, either lacking support for text-based control or neglecting existing CAD models as constraints. We introduce CAD-Editor, the first framework for text-based CAD editing. To address the challenge of demanding triplet data with accurate correspondence for training, we propose an automated data synthesis pipeline. This pipeline utilizes design variation models to generate pairs of original and edited CAD models and employs Large Vision-Language Models (LVLMs) to summarize their differences into editing instructions. To tackle the composite nature of text-based CAD editing, we propose a locate-then-infill framework that decomposes the task into two focused sub-tasks: locating regions requiring modification and infilling these regions with appropriate edits. Large Language Models (LLMs) serve as the backbone for both sub-tasks, leveraging their capabilities in natural language understanding and CAD knowledge. Experiments show that CAD-Editor achieves superior performance both quantitatively and qualitatively.