Geração de CAD a partir de Texto por Meio da Incorporação de Feedback Visual em Modelos de Linguagem de Grande Escala

Text-to-CAD Generation Through Infusing Visual Feedback in Large Language Models

January 31, 2025

Autores: Ruiyu Wang, Yu Yuan, Shizhao Sun, Jiang Bian

cs.AI

Resumo

A criação de modelos de Design Assistido por Computador (CAD) requer expertise significativa e esforço. O Texto-para-CAD, que converte descrições textuais em sequências paramétricas CAD, é crucial para otimizar esse processo. Estudos recentes têm utilizado sequências paramétricas de referência, conhecidas como sinais sequenciais, como supervisão para alcançar esse objetivo. No entanto, os modelos CAD são inerentemente multimodais, compreendendo sequências paramétricas e objetos visuais renderizados correspondentes. Além disso, o processo de renderização de sequências paramétricas para objetos visuais é de muitos para um. Portanto, tanto os sinais sequenciais quanto visuais são cruciais para um treinamento eficaz. Neste trabalho, apresentamos o CADFusion, um framework que utiliza Modelos de Linguagem Grandes (LLMs) como base e alterna entre duas etapas de treinamento: a etapa de aprendizado sequencial (SL) e a etapa de feedback visual (VF). Na etapa SL, treinamos LLMs usando sequências paramétricas de referência, possibilitando a geração de sequências paramétricas logicamente coerentes. Na etapa VF, recompensamos sequências paramétricas que se transformam em objetos visualmente preferidos e penalizamos aquelas que não o fazem, permitindo que os LLMs aprendam como os objetos visuais renderizados são percebidos e avaliados. Essas duas etapas alternam ao longo do treinamento, garantindo um aprendizado equilibrado e preservando os benefícios de ambos os sinais. Experimentos demonstram que o CADFusion melhora significativamente o desempenho, tanto qualitativa quanto quantitativamente.

English

Creating Computer-Aided Design (CAD) models requires significant expertise and effort. Text-to-CAD, which converts textual descriptions into CAD parametric sequences, is crucial in streamlining this process. Recent studies have utilized ground-truth parametric sequences, known as sequential signals, as supervision to achieve this goal. However, CAD models are inherently multimodal, comprising parametric sequences and corresponding rendered visual objects. Besides,the rendering process from parametric sequences to visual objects is many-to-one. Therefore, both sequential and visual signals are critical for effective training. In this work, we introduce CADFusion, a framework that uses Large Language Models (LLMs) as the backbone and alternates between two training stages: the sequential learning (SL) stage and the visual feedback (VF) stage. In the SL stage, we train LLMs using ground-truth parametric sequences, enabling the generation of logically coherent parametric sequences. In the VF stage, we reward parametric sequences that render into visually preferred objects and penalize those that do not, allowing LLMs to learn how rendered visual objects are perceived and evaluated. These two stages alternate throughout the training, ensuring balanced learning and preserving benefits of both signals. Experiments demonstrate that CADFusion significantly improves performance, both qualitatively and quantitatively.