Éditeur de CAO : un cadre de localisation puis de complétion avec une synthèse automatisée des données d'entraînement pour l'édition de CAO basée sur du texte

CAD-Editor: A Locate-then-Infill Framework with Automated Training Data Synthesis for Text-Based CAD Editing

February 6, 2025

Auteurs: Yu Yuan, Shizhao Sun, Qi Liu, Jiang Bian

cs.AI

Résumé

La Conception Assistée par Ordinateur (CAO) est indispensable dans diverses industries. L'édition de CAO basée sur du texte, qui automatise la modification de modèles CAO en fonction d'instructions textuelles, présente un grand potentiel mais reste peu explorée. Les méthodes existantes se concentrent principalement sur la génération de variations de conception ou la génération de CAO basée sur du texte, en manquant de support pour le contrôle basé sur du texte ou en négligeant les modèles CAO existants en tant que contraintes. Nous présentons CAD-Editor, le premier cadre pour l'édition de CAO basée sur du texte. Pour relever le défi de la demande de données triplettes avec une correspondance précise pour l'entraînement, nous proposons un pipeline d'automatisation de synthèse de données. Ce pipeline utilise des modèles de variation de conception pour générer des paires de modèles CAO originaux et édités et utilise de grands modèles Vision-Language (LVLMs) pour résumer leurs différences en instructions d'édition. Pour aborder la nature composite de l'édition de CAO basée sur du texte, nous proposons un cadre de localisation puis de remplissage qui décompose la tâche en deux sous-tâches ciblées : localiser les régions nécessitant une modification et remplir ces régions avec des éditions appropriées. Les grands modèles de langage (LLMs) servent de base pour les deux sous-tâches, exploitant leurs capacités en compréhension du langage naturel et en connaissance de la CAO. Les expériences montrent que CAD-Editor atteint des performances supérieures à la fois quantitativement et qualitativement.

English

Computer Aided Design (CAD) is indispensable across various industries. Text-based CAD editing, which automates the modification of CAD models based on textual instructions, holds great potential but remains underexplored. Existing methods primarily focus on design variation generation or text-based CAD generation, either lacking support for text-based control or neglecting existing CAD models as constraints. We introduce CAD-Editor, the first framework for text-based CAD editing. To address the challenge of demanding triplet data with accurate correspondence for training, we propose an automated data synthesis pipeline. This pipeline utilizes design variation models to generate pairs of original and edited CAD models and employs Large Vision-Language Models (LVLMs) to summarize their differences into editing instructions. To tackle the composite nature of text-based CAD editing, we propose a locate-then-infill framework that decomposes the task into two focused sub-tasks: locating regions requiring modification and infilling these regions with appropriate edits. Large Language Models (LLMs) serve as the backbone for both sub-tasks, leveraging their capabilities in natural language understanding and CAD knowledge. Experiments show that CAD-Editor achieves superior performance both quantitatively and qualitatively.