Editor CAD: Um Framework de Localização e Preenchimento com Geração Automática de Dados de Treinamento para Edição de CAD Baseada em Texto.

CAD-Editor: A Locate-then-Infill Framework with Automated Training Data Synthesis for Text-Based CAD Editing

February 6, 2025

Autores: Yu Yuan, Shizhao Sun, Qi Liu, Jiang Bian

cs.AI

Resumo

O Design Assistido por Computador (CAD) é indispensável em várias indústrias. A edição de CAD baseada em texto, que automatiza a modificação de modelos CAD com base em instruções textuais, possui grande potencial, mas ainda é pouco explorada. Os métodos existentes focam principalmente na geração de variações de design ou na geração de CAD baseada em texto, faltando suporte para controle baseado em texto ou negligenciando modelos CAD existentes como restrições. Apresentamos o CAD-Editor, o primeiro framework para edição de CAD baseada em texto. Para lidar com o desafio de dados de triplos exigentes com correspondência precisa para treinamento, propomos um pipeline automatizado de síntese de dados. Este pipeline utiliza modelos de variação de design para gerar pares de modelos CAD originais e editados e emprega Modelos de Linguagem de Visão Ampliada (LVLMs) para resumir suas diferenças em instruções de edição. Para lidar com a natureza composta da edição de CAD baseada em texto, propomos um framework de localização e preenchimento que decompõe a tarefa em duas sub-tarefas focadas: localizar regiões que requerem modificação e preencher essas regiões com edições apropriadas. Modelos de Linguagem Ampliada (LLMs) servem como a espinha dorsal para ambas as sub-tarefas, aproveitando suas capacidades em compreensão de linguagem natural e conhecimento de CAD. Experimentos mostram que o CAD-Editor alcança desempenho superior tanto quantitativamente quanto qualitativamente.

English

Computer Aided Design (CAD) is indispensable across various industries. Text-based CAD editing, which automates the modification of CAD models based on textual instructions, holds great potential but remains underexplored. Existing methods primarily focus on design variation generation or text-based CAD generation, either lacking support for text-based control or neglecting existing CAD models as constraints. We introduce CAD-Editor, the first framework for text-based CAD editing. To address the challenge of demanding triplet data with accurate correspondence for training, we propose an automated data synthesis pipeline. This pipeline utilizes design variation models to generate pairs of original and edited CAD models and employs Large Vision-Language Models (LVLMs) to summarize their differences into editing instructions. To tackle the composite nature of text-based CAD editing, we propose a locate-then-infill framework that decomposes the task into two focused sub-tasks: locating regions requiring modification and infilling these regions with appropriate edits. Large Language Models (LLMs) serve as the backbone for both sub-tasks, leveraging their capabilities in natural language understanding and CAD knowledge. Experiments show that CAD-Editor achieves superior performance both quantitatively and qualitatively.