Text-zu-CAD-Generierung durch Integration visuellen Feedbacks in große Sprachmodelle

Text-to-CAD Generation Through Infusing Visual Feedback in Large Language Models

January 31, 2025

Autoren: Ruiyu Wang, Yu Yuan, Shizhao Sun, Jiang Bian

cs.AI

Zusammenfassung

Die Erstellung von Computer-Aided Design (CAD)-Modellen erfordert erhebliche Fachkenntnisse und Anstrengungen. Text-to-CAD, das textuelle Beschreibungen in CAD-parametrische Sequenzen umwandelt, ist entscheidend, um diesen Prozess zu optimieren. In jüngsten Studien wurden Ground-Truth-parametrische Sequenzen, auch als sequenzielle Signale bekannt, als Aufsicht verwendet, um dieses Ziel zu erreichen. CAD-Modelle sind jedoch von Natur aus multimodal und bestehen aus parametrischen Sequenzen und entsprechenden gerenderten visuellen Objekten. Darüber hinaus ist der Renderprozess von parametrischen Sequenzen zu visuellen Objekten viele-zu-eins. Daher sind sowohl sequenzielle als auch visuelle Signale entscheidend für ein effektives Training. In dieser Arbeit stellen wir CADFusion vor, ein Framework, das Large Language Models (LLMs) als Grundlage verwendet und zwischen zwei Schulungsphasen wechselt: der sequenziellen Lernphase (SL) und der visuellen Rückmeldung (VF) Phase. In der SL-Phase trainieren wir LLMs mithilfe von Ground-Truth-parametrischen Sequenzen, um die Erzeugung logisch kohärenter parametrischer Sequenzen zu ermöglichen. In der VF-Phase belohnen wir parametrische Sequenzen, die in bevorzugte visuelle Objekte gerendert werden, und bestrafen solche, die dies nicht tun, um den LLMs beizubringen, wie gerenderte visuelle Objekte wahrgenommen und bewertet werden. Diese beiden Phasen wechseln sich während des Trainings ab, um ein ausgewogenes Lernen sicherzustellen und die Vorteile beider Signale zu bewahren. Experimente zeigen, dass CADFusion die Leistung signifikant verbessert, sowohl qualitativ als auch quantitativ.

English

Creating Computer-Aided Design (CAD) models requires significant expertise and effort. Text-to-CAD, which converts textual descriptions into CAD parametric sequences, is crucial in streamlining this process. Recent studies have utilized ground-truth parametric sequences, known as sequential signals, as supervision to achieve this goal. However, CAD models are inherently multimodal, comprising parametric sequences and corresponding rendered visual objects. Besides,the rendering process from parametric sequences to visual objects is many-to-one. Therefore, both sequential and visual signals are critical for effective training. In this work, we introduce CADFusion, a framework that uses Large Language Models (LLMs) as the backbone and alternates between two training stages: the sequential learning (SL) stage and the visual feedback (VF) stage. In the SL stage, we train LLMs using ground-truth parametric sequences, enabling the generation of logically coherent parametric sequences. In the VF stage, we reward parametric sequences that render into visually preferred objects and penalize those that do not, allowing LLMs to learn how rendered visual objects are perceived and evaluated. These two stages alternate throughout the training, ensuring balanced learning and preserving benefits of both signals. Experiments demonstrate that CADFusion significantly improves performance, both qualitatively and quantitatively.