Génération de modèles CAO à partir de texte en intégrant des retours visuels dans de grands modèles de langage.

Text-to-CAD Generation Through Infusing Visual Feedback in Large Language Models

January 31, 2025

Auteurs: Ruiyu Wang, Yu Yuan, Shizhao Sun, Jiang Bian

cs.AI

Résumé

La création de modèles de Conception Assistée par Ordinateur (CAO) nécessite une expertise et un effort significatifs. La conversion de texte en CAO, qui transforme les descriptions textuelles en séquences paramétriques de CAO, est cruciale pour rationaliser ce processus. Des études récentes ont utilisé des séquences paramétriques de vérité terrain, appelées signaux séquentiels, comme supervision pour atteindre cet objectif. Cependant, les modèles de CAO sont intrinsèquement multimodaux, comprenant des séquences paramétriques et des objets visuels rendus correspondants. De plus, le processus de rendu des séquences paramétriques en objets visuels est de type nombreux-à-un. Par conséquent, à la fois les signaux séquentiels et visuels sont cruciaux pour un entraînement efficace. Dans ce travail, nous présentons CADFusion, un cadre qui utilise de grands modèles de langage (LLM) comme base et alterne entre deux étapes d'entraînement : l'étape d'apprentissage séquentiel (SL) et l'étape de retour visuel (VF). Dans l'étape SL, nous entraînons les LLM en utilisant des séquences paramétriques de vérité terrain, permettant la génération de séquences paramétriques logiquement cohérentes. Dans l'étape VF, nous récompensons les séquences paramétriques qui se transforment en objets visuels préférés et pénalisons celles qui ne le font pas, permettant aux LLM d'apprendre comment les objets visuels rendus sont perçus et évalués. Ces deux étapes alternent tout au long de l'entraînement, garantissant un apprentissage équilibré et préservant les avantages des deux signaux. Les expériences démontrent que CADFusion améliore significativement les performances, tant qualitativement que quantitativement.

English

Creating Computer-Aided Design (CAD) models requires significant expertise and effort. Text-to-CAD, which converts textual descriptions into CAD parametric sequences, is crucial in streamlining this process. Recent studies have utilized ground-truth parametric sequences, known as sequential signals, as supervision to achieve this goal. However, CAD models are inherently multimodal, comprising parametric sequences and corresponding rendered visual objects. Besides,the rendering process from parametric sequences to visual objects is many-to-one. Therefore, both sequential and visual signals are critical for effective training. In this work, we introduce CADFusion, a framework that uses Large Language Models (LLMs) as the backbone and alternates between two training stages: the sequential learning (SL) stage and the visual feedback (VF) stage. In the SL stage, we train LLMs using ground-truth parametric sequences, enabling the generation of logically coherent parametric sequences. In the VF stage, we reward parametric sequences that render into visually preferred objects and penalize those that do not, allowing LLMs to learn how rendered visual objects are perceived and evaluated. These two stages alternate throughout the training, ensuring balanced learning and preserving benefits of both signals. Experiments demonstrate that CADFusion significantly improves performance, both qualitatively and quantitatively.