Tekst-naar-CAD-generatie door visuele feedback te integreren in grote taalmodellen.

Text-to-CAD Generation Through Infusing Visual Feedback in Large Language Models

January 31, 2025

Auteurs: Ruiyu Wang, Yu Yuan, Shizhao Sun, Jiang Bian

cs.AI

Samenvatting

Het creëren van Computer-Ondersteund Ontwerp (CAD) modellen vereist aanzienlijke expertise en inspanning. Tekst-naar-CAD, dat tekstuele beschrijvingen omzet in CAD-parametrische sequenties, is cruciaal om dit proces te stroomlijnen. Recente studies hebben gebruik gemaakt van grondwaarheid parametrische sequenties, bekend als opeenvolgende signalen, als toezicht om dit doel te bereiken. Echter, CAD-modellen zijn inherent multimodaal, bestaande uit parametrische sequenties en bijbehorende weergegeven visuele objecten. Bovendien is het renderingsproces van parametrische sequenties naar visuele objecten veel-op-een. Daarom zijn zowel opeenvolgende als visuele signalen cruciaal voor effectieve training. In dit werk introduceren we CADFusion, een framework dat Grote Taalmodellen (LLM's) als basis gebruikt en afwisselt tussen twee trainingsfasen: de opeenvolgende leerfase (SL) en de visuele feedbackfase (VF). In de SL-fase trainen we LLM's met behulp van grondwaarheid parametrische sequenties, waardoor de generatie van logisch coherente parametrische sequenties mogelijk wordt. In de VF-fase belonen we parametrische sequenties die renderen tot visueel geprefereerde objecten en straffen we die dat niet doen, waardoor LLM's leren hoe weergegeven visuele objecten worden waargenomen en geëvalueerd. Deze twee fasen wisselen elkaar af tijdens de training, waarbij evenwichtig leren wordt gegarandeerd en voordelen van beide signalen behouden blijven. Experimenten tonen aan dat CADFusion de prestaties aanzienlijk verbetert, zowel kwalitatief als kwantitatief.

English

Creating Computer-Aided Design (CAD) models requires significant expertise and effort. Text-to-CAD, which converts textual descriptions into CAD parametric sequences, is crucial in streamlining this process. Recent studies have utilized ground-truth parametric sequences, known as sequential signals, as supervision to achieve this goal. However, CAD models are inherently multimodal, comprising parametric sequences and corresponding rendered visual objects. Besides,the rendering process from parametric sequences to visual objects is many-to-one. Therefore, both sequential and visual signals are critical for effective training. In this work, we introduce CADFusion, a framework that uses Large Language Models (LLMs) as the backbone and alternates between two training stages: the sequential learning (SL) stage and the visual feedback (VF) stage. In the SL stage, we train LLMs using ground-truth parametric sequences, enabling the generation of logically coherent parametric sequences. In the VF stage, we reward parametric sequences that render into visually preferred objects and penalize those that do not, allowing LLMs to learn how rendered visual objects are perceived and evaluated. These two stages alternate throughout the training, ensuring balanced learning and preserving benefits of both signals. Experiments demonstrate that CADFusion significantly improves performance, both qualitatively and quantitatively.