Editor CAD: Un marco de localización seguido de relleno con síntesis automatizada de datos de entrenamiento para la edición de CAD basada en texto.

CAD-Editor: A Locate-then-Infill Framework with Automated Training Data Synthesis for Text-Based CAD Editing

February 6, 2025

Autores: Yu Yuan, Shizhao Sun, Qi Liu, Jiang Bian

cs.AI

Resumen

El Diseño Asistido por Computadora (CAD) es indispensable en diversas industrias. La edición de CAD basada en texto, que automatiza la modificación de modelos CAD basándose en instrucciones textuales, tiene un gran potencial pero sigue siendo poco explorada. Los métodos existentes se centran principalmente en la generación de variaciones de diseño o en la generación de CAD basada en texto, careciendo de soporte para el control basado en texto o ignorando los modelos CAD existentes como restricciones. Presentamos CAD-Editor, el primer marco para la edición de CAD basada en texto. Para abordar el desafío de los datos tripletas exigentes con correspondencia precisa para el entrenamiento, proponemos un pipeline automatizado de síntesis de datos. Este pipeline utiliza modelos de variación de diseño para generar pares de modelos CAD originales y editados, y emplea Modelos de Gran Visión-Lenguaje (LVLMs) para resumir sus diferencias en instrucciones de edición. Para abordar la naturaleza compuesta de la edición de CAD basada en texto, proponemos un marco de localización-seguido-de-relleno que descompone la tarea en dos sub-tareas enfocadas: localizar las regiones que requieren modificación y rellenar estas regiones con ediciones apropiadas. Los Modelos de Lenguaje de Gran Tamaño (LLMs) sirven como la base para ambas sub-tareas, aprovechando sus capacidades en comprensión del lenguaje natural y conocimiento de CAD. Los experimentos muestran que CAD-Editor logra un rendimiento superior tanto cuantitativa como cualitativamente.

English

Computer Aided Design (CAD) is indispensable across various industries. Text-based CAD editing, which automates the modification of CAD models based on textual instructions, holds great potential but remains underexplored. Existing methods primarily focus on design variation generation or text-based CAD generation, either lacking support for text-based control or neglecting existing CAD models as constraints. We introduce CAD-Editor, the first framework for text-based CAD editing. To address the challenge of demanding triplet data with accurate correspondence for training, we propose an automated data synthesis pipeline. This pipeline utilizes design variation models to generate pairs of original and edited CAD models and employs Large Vision-Language Models (LVLMs) to summarize their differences into editing instructions. To tackle the composite nature of text-based CAD editing, we propose a locate-then-infill framework that decomposes the task into two focused sub-tasks: locating regions requiring modification and infilling these regions with appropriate edits. Large Language Models (LLMs) serve as the backbone for both sub-tasks, leveraging their capabilities in natural language understanding and CAD knowledge. Experiments show that CAD-Editor achieves superior performance both quantitatively and qualitatively.