cadrille: Multi-modale CAD-reconstructie met online reinforcement learning

cadrille: Multi-modal CAD Reconstruction with Online Reinforcement Learning

May 28, 2025

Auteurs: Maksim Kolodiazhnyi, Denis Tarasov, Dmitrii Zhemchuzhnikov, Alexander Nikulin, Ilya Zisman, Anna Vorontsova, Anton Konushin, Vladislav Kurenkov, Danila Rukhovich

cs.AI

Samenvatting

Computer-Aided Design (CAD) speelt een centrale rol in engineering en productie, waardoor het mogelijk wordt om precieze en bewerkbare 3D-modellen te creëren. Het gebruik van verschillende sensoren of door gebruikers aangeleverde gegevens als invoer voor CAD-reconstructie kan de toegang tot ontwerptoepassingen democratiseren. Bestaande methoden richten zich echter meestal op één enkele invoermodaliteit, zoals puntenwolken, afbeeldingen of tekst, wat hun generaliseerbaarheid en robuustheid beperkt. Door gebruik te maken van recente vooruitgang in vision-language-modellen (VLM), stellen we een multi-modale CAD-reconstructiemethode voor die alle drie de invoermodaliteiten gelijktijdig verwerkt. Geïnspireerd door de trainingsparadigma's van grote taalmodellen (LLM), hanteren we een tweefasenpijplijn: supervised fine-tuning (SFT) op grootschalige procedureel gegenereerde gegevens, gevolgd door reinforcement learning (RL) fine-tuning met behulp van online feedback, die programmatisch wordt verkregen. Bovendien zijn we de eersten die RL fine-tuning van LLM's voor CAD-taken onderzoeken, waarbij we aantonen dat online RL-algoritmen zoals Group Relative Preference Optimization (GRPO) offline alternatieven overtreffen. In de DeepCAD-benchmark presteert ons SFT-model beter dan bestaande single-modale benaderingen in alle drie de invoermodaliteiten tegelijkertijd. Nog belangrijker is dat cadrille, na RL fine-tuning, nieuwe state-of-the-art resultaten behaalt op drie uitdagende datasets, waaronder een real-world dataset.

English

Computer-Aided Design (CAD) plays a central role in engineering and manufacturing, making it possible to create precise and editable 3D models. Using a variety of sensor or user-provided data as inputs for CAD reconstruction can democratize access to design applications. However, existing methods typically focus on a single input modality, such as point clouds, images, or text, which limits their generalizability and robustness. Leveraging recent advances in vision-language models (VLM), we propose a multi-modal CAD reconstruction model that simultaneously processes all three input modalities. Inspired by large language model (LLM) training paradigms, we adopt a two-stage pipeline: supervised fine-tuning (SFT) on large-scale procedurally generated data, followed by reinforcement learning (RL) fine-tuning using online feedback, obtained programatically. Furthermore, we are the first to explore RL fine-tuning of LLMs for CAD tasks demonstrating that online RL algorithms such as Group Relative Preference Optimization (GRPO) outperform offline alternatives. In the DeepCAD benchmark, our SFT model outperforms existing single-modal approaches in all three input modalities simultaneously. More importantly, after RL fine-tuning, cadrille sets new state-of-the-art on three challenging datasets, including a real-world one.