CAD-Editor: un framework di localizzazione e completamento con generazione automatica di dati di addestramento per la modifica CAD basata su testo

CAD-Editor: A Locate-then-Infill Framework with Automated Training Data Synthesis for Text-Based CAD Editing

February 6, 2025

Autori: Yu Yuan, Shizhao Sun, Qi Liu, Jiang Bian

cs.AI

Abstract

Il Computer Aided Design (CAD) è indispensabile in varie industrie. La modifica CAD basata su testo, che automatizza la modifica dei modelli CAD basandosi su istruzioni testuali, ha un grande potenziale ma rimane poco esplorata. I metodi esistenti si concentrano principalmente sulla generazione di variazioni di design o sulla generazione CAD basata su testo, mancando di supporto per il controllo basato su testo o trascurando i modelli CAD esistenti come vincoli. Presentiamo CAD-Editor, il primo framework per la modifica CAD basata su testo. Per affrontare la sfida dei dati tripletti esigenti con corrispondenza accurata per l'addestramento, proponiamo un flusso di lavoro automatizzato per la sintesi dei dati. Questo flusso di lavoro utilizza modelli di variazione di design per generare coppie di modelli CAD originali e modificati e impiega Grandi Modelli Visione-Linguaggio (LVLMs) per riassumere le loro differenze in istruzioni di modifica. Per affrontare la natura composita della modifica CAD basata su testo, proponiamo un framework di localizzazione e riempimento che scompone il compito in due sotto-compiti focalizzati: individuare le regioni che richiedono modifica e riempire queste regioni con modifiche appropriate. I Grandi Modelli Linguaggio (LLMs) fungono da base per entrambi i sotto-compiti, sfruttando le loro capacità nella comprensione del linguaggio naturale e nella conoscenza CAD. Gli esperimenti mostrano che CAD-Editor raggiunge prestazioni superiori sia quantitativamente che qualitativamente.

English

Computer Aided Design (CAD) is indispensable across various industries. Text-based CAD editing, which automates the modification of CAD models based on textual instructions, holds great potential but remains underexplored. Existing methods primarily focus on design variation generation or text-based CAD generation, either lacking support for text-based control or neglecting existing CAD models as constraints. We introduce CAD-Editor, the first framework for text-based CAD editing. To address the challenge of demanding triplet data with accurate correspondence for training, we propose an automated data synthesis pipeline. This pipeline utilizes design variation models to generate pairs of original and edited CAD models and employs Large Vision-Language Models (LVLMs) to summarize their differences into editing instructions. To tackle the composite nature of text-based CAD editing, we propose a locate-then-infill framework that decomposes the task into two focused sub-tasks: locating regions requiring modification and infilling these regions with appropriate edits. Large Language Models (LLMs) serve as the backbone for both sub-tasks, leveraging their capabilities in natural language understanding and CAD knowledge. Experiments show that CAD-Editor achieves superior performance both quantitatively and qualitatively.