Generazione di modelli CAD tramite l'integrazione di feedback visivo nei grandi modelli linguistici

Text-to-CAD Generation Through Infusing Visual Feedback in Large Language Models

January 31, 2025

Autori: Ruiyu Wang, Yu Yuan, Shizhao Sun, Jiang Bian

cs.AI

Abstract

La creazione di modelli di progettazione assistita al computer (CAD) richiede una notevole esperienza e sforzo. Il Text-to-CAD, che converte le descrizioni testuali in sequenze parametriche CAD, è cruciale per ottimizzare questo processo. Studi recenti hanno utilizzato sequenze parametriche di verità fondamentale, note come segnali sequenziali, come supervisione per raggiungere questo obiettivo. Tuttavia, i modelli CAD sono intrinsecamente multimodali, comprendendo sequenze parametriche e oggetti visivi resi corrispondenti. Inoltre, il processo di rendering dalle sequenze parametriche agli oggetti visivi è di tipo molti-a-uno. Pertanto, sia i segnali sequenziali che visivi sono cruciali per un addestramento efficace. In questo lavoro, presentiamo CADFusion, un framework che utilizza Large Language Models (LLM) come base e alterna tra due fasi di addestramento: la fase di apprendimento sequenziale (SL) e la fase di feedback visivo (VF). Nella fase SL, addestriamo i LLM utilizzando sequenze parametriche di verità fondamentale, consentendo la generazione di sequenze parametriche logicamente coerenti. Nella fase VF, premiamo le sequenze parametriche che si traducono in oggetti visivi preferiti e penalizziamo quelle che non lo fanno, consentendo ai LLM di imparare come gli oggetti visivi resi vengono percepiti ed valutati. Queste due fasi si alternano durante l'addestramento, garantendo un apprendimento equilibrato e preservando i vantaggi di entrambi i segnali. Gli esperimenti dimostrano che CADFusion migliora significativamente le prestazioni, sia qualitativamente che quantitativamente.

English

Creating Computer-Aided Design (CAD) models requires significant expertise and effort. Text-to-CAD, which converts textual descriptions into CAD parametric sequences, is crucial in streamlining this process. Recent studies have utilized ground-truth parametric sequences, known as sequential signals, as supervision to achieve this goal. However, CAD models are inherently multimodal, comprising parametric sequences and corresponding rendered visual objects. Besides,the rendering process from parametric sequences to visual objects is many-to-one. Therefore, both sequential and visual signals are critical for effective training. In this work, we introduce CADFusion, a framework that uses Large Language Models (LLMs) as the backbone and alternates between two training stages: the sequential learning (SL) stage and the visual feedback (VF) stage. In the SL stage, we train LLMs using ground-truth parametric sequences, enabling the generation of logically coherent parametric sequences. In the VF stage, we reward parametric sequences that render into visually preferred objects and penalize those that do not, allowing LLMs to learn how rendered visual objects are perceived and evaluated. These two stages alternate throughout the training, ensuring balanced learning and preserving benefits of both signals. Experiments demonstrate that CADFusion significantly improves performance, both qualitatively and quantitatively.