Generación de CAD a partir de texto mediante la incorporación de retroalimentación visual en modelos de lenguaje grandes

Text-to-CAD Generation Through Infusing Visual Feedback in Large Language Models

January 31, 2025

Autores: Ruiyu Wang, Yu Yuan, Shizhao Sun, Jiang Bian

cs.AI

Resumen

La creación de modelos de Diseño Asistido por Computadora (CAD) requiere una experiencia y esfuerzo significativos. El Texto-a-CAD, que convierte descripciones textuales en secuencias paramétricas CAD, es crucial para agilizar este proceso. Estudios recientes han utilizado secuencias paramétricas de verdad básica, conocidas como señales secuenciales, como supervisión para lograr este objetivo. Sin embargo, los modelos CAD son inherentemente multimodales, compuestos por secuencias paramétricas y objetos visuales renderizados correspondientes. Además, el proceso de renderizado de secuencias paramétricas a objetos visuales es de muchos a uno. Por lo tanto, tanto las señales secuenciales como visuales son críticas para un entrenamiento efectivo. En este trabajo, presentamos CADFusion, un marco que utiliza Modelos de Lenguaje Grandes (LLMs) como base y alterna entre dos etapas de entrenamiento: la etapa de aprendizaje secuencial (SL) y la etapa de retroalimentación visual (VF). En la etapa SL, entrenamos LLMs utilizando secuencias paramétricas de verdad básica, lo que permite la generación de secuencias paramétricas lógicamente coherentes. En la etapa VF, recompensamos las secuencias paramétricas que se renderizan en objetos visualmente preferidos y penalizamos aquellas que no lo hacen, permitiendo a los LLMs aprender cómo se perciben y evalúan los objetos visuales renderizados. Estas dos etapas alternan a lo largo del entrenamiento, asegurando un aprendizaje equilibrado y preservando los beneficios de ambas señales. Experimentos demuestran que CADFusion mejora significativamente el rendimiento, tanto cualitativa como cuantitativamente.

English

Creating Computer-Aided Design (CAD) models requires significant expertise and effort. Text-to-CAD, which converts textual descriptions into CAD parametric sequences, is crucial in streamlining this process. Recent studies have utilized ground-truth parametric sequences, known as sequential signals, as supervision to achieve this goal. However, CAD models are inherently multimodal, comprising parametric sequences and corresponding rendered visual objects. Besides,the rendering process from parametric sequences to visual objects is many-to-one. Therefore, both sequential and visual signals are critical for effective training. In this work, we introduce CADFusion, a framework that uses Large Language Models (LLMs) as the backbone and alternates between two training stages: the sequential learning (SL) stage and the visual feedback (VF) stage. In the SL stage, we train LLMs using ground-truth parametric sequences, enabling the generation of logically coherent parametric sequences. In the VF stage, we reward parametric sequences that render into visually preferred objects and penalize those that do not, allowing LLMs to learn how rendered visual objects are perceived and evaluated. These two stages alternate throughout the training, ensuring balanced learning and preserving benefits of both signals. Experiments demonstrate that CADFusion significantly improves performance, both qualitatively and quantitatively.