CAD-Editor: Ein Lokalisierungs-und-Auffüllungs-Framework mit automatisierter Trainingdatensynthese für textbasierte CAD-Bearbeitung.

CAD-Editor: A Locate-then-Infill Framework with Automated Training Data Synthesis for Text-Based CAD Editing

February 6, 2025

Autoren: Yu Yuan, Shizhao Sun, Qi Liu, Jiang Bian

cs.AI

Zusammenfassung

Computer Aided Design (CAD) ist in verschiedenen Branchen unverzichtbar. Die textbasierte CAD-Bearbeitung, die die Modifikation von CAD-Modellen basierend auf textuellen Anweisungen automatisiert, birgt großes Potenzial, bleibt jedoch weitgehend unerforscht. Bestehende Methoden konzentrieren sich hauptsächlich auf die Generierung von Designvariationen oder die textbasierte CAD-Generierung, entweder ohne Unterstützung für die textbasierte Steuerung oder unter Vernachlässigung bestehender CAD-Modelle als Einschränkungen. Wir stellen CAD-Editor vor, das erste Framework für die textbasierte CAD-Bearbeitung. Um die Herausforderung der anspruchsvollen Triplettdaten mit genauer Korrespondenz für das Training anzugehen, schlagen wir eine automatisierte Datensynthesepipeline vor. Diese Pipeline verwendet Designvariationmodelle, um Paare von Original- und bearbeiteten CAD-Modellen zu generieren und setzt Large Vision-Language Models (LVLMs) ein, um ihre Unterschiede in Bearbeitungsanweisungen zusammenzufassen. Um der komplexen Natur der textbasierten CAD-Bearbeitung gerecht zu werden, schlagen wir ein Lokalisieren-und-Ausfüllen-Framework vor, das die Aufgabe in zwei fokussierte Teilaufgaben zerlegt: das Lokalisieren von Regionen, die modifiziert werden müssen, und das Ausfüllen dieser Regionen mit geeigneten Bearbeitungen. Große Sprachmodelle (LLMs) dienen als Grundlage für beide Teilaufgaben und nutzen ihre Fähigkeiten im Bereich des natürlichen Sprachverständnisses und des CAD-Wissens. Experimente zeigen, dass CAD-Editor sowohl quantitativ als auch qualitativ eine überlegene Leistung erbringt.

English

Computer Aided Design (CAD) is indispensable across various industries. Text-based CAD editing, which automates the modification of CAD models based on textual instructions, holds great potential but remains underexplored. Existing methods primarily focus on design variation generation or text-based CAD generation, either lacking support for text-based control or neglecting existing CAD models as constraints. We introduce CAD-Editor, the first framework for text-based CAD editing. To address the challenge of demanding triplet data with accurate correspondence for training, we propose an automated data synthesis pipeline. This pipeline utilizes design variation models to generate pairs of original and edited CAD models and employs Large Vision-Language Models (LVLMs) to summarize their differences into editing instructions. To tackle the composite nature of text-based CAD editing, we propose a locate-then-infill framework that decomposes the task into two focused sub-tasks: locating regions requiring modification and infilling these regions with appropriate edits. Large Language Models (LLMs) serve as the backbone for both sub-tasks, leveraging their capabilities in natural language understanding and CAD knowledge. Experiments show that CAD-Editor achieves superior performance both quantitatively and qualitatively.