cadrille: Reconstrução Multi-modal de CAD com Aprendizado por Reforço Online

cadrille: Multi-modal CAD Reconstruction with Online Reinforcement Learning

May 28, 2025

Autores: Maksim Kolodiazhnyi, Denis Tarasov, Dmitrii Zhemchuzhnikov, Alexander Nikulin, Ilya Zisman, Anna Vorontsova, Anton Konushin, Vladislav Kurenkov, Danila Rukhovich

cs.AI

Resumo

O Design Assistido por Computador (CAD) desempenha um papel central na engenharia e na manufatura, possibilitando a criação de modelos 3D precisos e editáveis. Utilizar uma variedade de dados provenientes de sensores ou fornecidos pelo usuário como entradas para a reconstrução CAD pode democratizar o acesso a aplicações de design. No entanto, os métodos existentes geralmente se concentram em uma única modalidade de entrada, como nuvens de pontos, imagens ou texto, o que limita sua generalização e robustez. Aproveitando os avanços recentes em modelos de visão e linguagem (VLM), propomos um modelo de reconstrução CAD multimodal que processa simultaneamente as três modalidades de entrada. Inspirados pelos paradigmas de treinamento de grandes modelos de linguagem (LLM), adotamos um pipeline de duas etapas: ajuste fino supervisionado (SFT) em dados gerados proceduralmente em grande escala, seguido por ajuste fino com aprendizado por reforço (RL) utilizando feedback online, obtido de forma programática. Além disso, somos os primeiros a explorar o ajuste fino com RL de LLMs para tarefas de CAD, demonstrando que algoritmos de RL online, como o Group Relative Preference Optimization (GRPO), superam alternativas offline. No benchmark DeepCAD, nosso modelo SFT supera as abordagens unimodais existentes em todas as três modalidades de entrada simultaneamente. Mais importante ainda, após o ajuste fino com RL, o cadrille estabelece novos recordes de estado da arte em três conjuntos de dados desafiadores, incluindo um do mundo real.

English

Computer-Aided Design (CAD) plays a central role in engineering and manufacturing, making it possible to create precise and editable 3D models. Using a variety of sensor or user-provided data as inputs for CAD reconstruction can democratize access to design applications. However, existing methods typically focus on a single input modality, such as point clouds, images, or text, which limits their generalizability and robustness. Leveraging recent advances in vision-language models (VLM), we propose a multi-modal CAD reconstruction model that simultaneously processes all three input modalities. Inspired by large language model (LLM) training paradigms, we adopt a two-stage pipeline: supervised fine-tuning (SFT) on large-scale procedurally generated data, followed by reinforcement learning (RL) fine-tuning using online feedback, obtained programatically. Furthermore, we are the first to explore RL fine-tuning of LLMs for CAD tasks demonstrating that online RL algorithms such as Group Relative Preference Optimization (GRPO) outperform offline alternatives. In the DeepCAD benchmark, our SFT model outperforms existing single-modal approaches in all three input modalities simultaneously. More importantly, after RL fine-tuning, cadrille sets new state-of-the-art on three challenging datasets, including a real-world one.