Генерация CAD из текста с помощью внедрения визуальной обратной связи в большие языковые модели

Text-to-CAD Generation Through Infusing Visual Feedback in Large Language Models

January 31, 2025

Авторы: Ruiyu Wang, Yu Yuan, Shizhao Sun, Jiang Bian

cs.AI

Аннотация

Создание моделей компьютерного проектирования (CAD) требует значительной экспертизы и усилий. Текст в CAD, который преобразует текстовые описания в последовательности параметрических CAD, является ключевым для оптимизации этого процесса. В недавних исследованиях использовались исходные параметрические последовательности, известные как последовательные сигналы, в качестве надзора для достижения этой цели. Однако CAD-модели по своей природе являются мультимодальными, включающими в себя параметрические последовательности и соответствующие визуальные объекты. Кроме того, процесс визуализации от параметрических последовательностей к визуальным объектам является многие-к-одному. Поэтому как последовательные, так и визуальные сигналы критически важны для эффективного обучения. В данной работе мы представляем CADFusion, фреймворк, который использует большие языковые модели (LLM) в качестве основы и чередует два этапа обучения: этап последовательного обучения (SL) и этап обратной связи по визуальным данным (VF). На этапе SL мы обучаем LLM с использованием исходных параметрических последовательностей, что позволяет генерировать логически последовательные параметрические последовательности. На этапе VF мы вознаграждаем параметрические последовательности, которые визуально преобразуются в предпочтительные объекты, и наказываем те, которые этого не делают, позволяя LLM узнать, как визуально воспринимаются и оцениваются визуальные объекты. Эти два этапа чередуются во время обучения, обеспечивая сбалансированное обучение и сохраняя преимущества обоих сигналов. Эксперименты показывают, что CADFusion значительно улучшает производительность как качественно, так и количественно.

English

Creating Computer-Aided Design (CAD) models requires significant expertise and effort. Text-to-CAD, which converts textual descriptions into CAD parametric sequences, is crucial in streamlining this process. Recent studies have utilized ground-truth parametric sequences, known as sequential signals, as supervision to achieve this goal. However, CAD models are inherently multimodal, comprising parametric sequences and corresponding rendered visual objects. Besides,the rendering process from parametric sequences to visual objects is many-to-one. Therefore, both sequential and visual signals are critical for effective training. In this work, we introduce CADFusion, a framework that uses Large Language Models (LLMs) as the backbone and alternates between two training stages: the sequential learning (SL) stage and the visual feedback (VF) stage. In the SL stage, we train LLMs using ground-truth parametric sequences, enabling the generation of logically coherent parametric sequences. In the VF stage, we reward parametric sequences that render into visually preferred objects and penalize those that do not, allowing LLMs to learn how rendered visual objects are perceived and evaluated. These two stages alternate throughout the training, ensuring balanced learning and preserving benefits of both signals. Experiments demonstrate that CADFusion significantly improves performance, both qualitatively and quantitatively.