cadrille: Reconstrucción CAD multimodal con aprendizaje por refuerzo en línea

cadrille: Multi-modal CAD Reconstruction with Online Reinforcement Learning

May 28, 2025

Autores: Maksim Kolodiazhnyi, Denis Tarasov, Dmitrii Zhemchuzhnikov, Alexander Nikulin, Ilya Zisman, Anna Vorontsova, Anton Konushin, Vladislav Kurenkov, Danila Rukhovich

cs.AI

Resumen

El diseño asistido por computadora (CAD, por sus siglas en inglés) desempeña un papel central en la ingeniería y la manufactura, permitiendo la creación de modelos 3D precisos y editables. Utilizar una variedad de datos proporcionados por sensores o usuarios como entradas para la reconstrucción CAD puede democratizar el acceso a las aplicaciones de diseño. Sin embargo, los métodos existentes suelen centrarse en una única modalidad de entrada, como nubes de puntos, imágenes o texto, lo que limita su generalización y robustez. Aprovechando los avances recientes en los modelos de visión y lenguaje (VLM, por sus siglas en inglés), proponemos un modelo de reconstrucción CAD multimodal que procesa simultáneamente las tres modalidades de entrada. Inspirados en los paradigmas de entrenamiento de los modelos de lenguaje grandes (LLM, por sus siglas en inglés), adoptamos un pipeline de dos etapas: ajuste fino supervisado (SFT, por sus siglas en inglés) en datos generados proceduralmente a gran escala, seguido de un ajuste fino mediante aprendizaje por refuerzo (RL, por sus siglas en inglés) utilizando retroalimentación en línea obtenida de manera programática. Además, somos los primeros en explorar el ajuste fino mediante RL de LLMs para tareas de CAD, demostrando que los algoritmos de RL en línea, como la Optimización de Preferencias Relativas de Grupo (GRPO, por sus siglas en inglés), superan a las alternativas fuera de línea. En el benchmark DeepCAD, nuestro modelo SFT supera a los enfoques unimodales existentes en las tres modalidades de entrada simultáneamente. Más importante aún, después del ajuste fino mediante RL, cadrille establece un nuevo estado del arte en tres conjuntos de datos desafiantes, incluyendo uno del mundo real.

English

Computer-Aided Design (CAD) plays a central role in engineering and manufacturing, making it possible to create precise and editable 3D models. Using a variety of sensor or user-provided data as inputs for CAD reconstruction can democratize access to design applications. However, existing methods typically focus on a single input modality, such as point clouds, images, or text, which limits their generalizability and robustness. Leveraging recent advances in vision-language models (VLM), we propose a multi-modal CAD reconstruction model that simultaneously processes all three input modalities. Inspired by large language model (LLM) training paradigms, we adopt a two-stage pipeline: supervised fine-tuning (SFT) on large-scale procedurally generated data, followed by reinforcement learning (RL) fine-tuning using online feedback, obtained programatically. Furthermore, we are the first to explore RL fine-tuning of LLMs for CAD tasks demonstrating that online RL algorithms such as Group Relative Preference Optimization (GRPO) outperform offline alternatives. In the DeepCAD benchmark, our SFT model outperforms existing single-modal approaches in all three input modalities simultaneously. More importantly, after RL fine-tuning, cadrille sets new state-of-the-art on three challenging datasets, including a real-world one.