cadrille : Reconstruction multi-modale de CAO avec apprentissage par renforcement en ligne

cadrille: Multi-modal CAD Reconstruction with Online Reinforcement Learning

May 28, 2025

papers.authors: Maksim Kolodiazhnyi, Denis Tarasov, Dmitrii Zhemchuzhnikov, Alexander Nikulin, Ilya Zisman, Anna Vorontsova, Anton Konushin, Vladislav Kurenkov, Danila Rukhovich

cs.AI

papers.abstract

La Conception Assistée par Ordinateur (CAO) joue un rôle central dans l'ingénierie et la fabrication, permettant de créer des modèles 3D précis et modifiables. L'utilisation de diverses données provenant de capteurs ou fournies par l'utilisateur comme entrées pour la reconstruction CAO peut démocratiser l'accès aux applications de conception. Cependant, les méthodes existantes se concentrent généralement sur une seule modalité d'entrée, comme les nuages de points, les images ou le texte, ce qui limite leur généralisabilité et leur robustesse. En tirant parti des récentes avancées dans les modèles vision-langage (VLM), nous proposons un modèle de reconstruction CAO multimodal qui traite simultanément les trois modalités d'entrée. Inspirés par les paradigmes d'entraînement des grands modèles de langage (LLM), nous adoptons un pipeline en deux étapes : un réglage fin supervisé (SFT) sur des données générées de manière procédurale à grande échelle, suivi d'un réglage fin par apprentissage par renforcement (RL) utilisant des retours en ligne obtenus de manière programmatique. De plus, nous sommes les premiers à explorer le réglage fin par RL des LLM pour des tâches de CAO, démontrant que les algorithmes de RL en ligne tels que l'Optimisation des Préférences Relatives de Groupe (GRPO) surpassent les alternatives hors ligne. Dans le benchmark DeepCAD, notre modèle SFT surpasse les approches unimodales existantes dans les trois modalités d'entrée simultanément. Plus important encore, après le réglage fin par RL, cadrille établit de nouveaux records sur trois ensembles de données complexes, incluant un ensemble de données du monde réel.

English

Computer-Aided Design (CAD) plays a central role in engineering and manufacturing, making it possible to create precise and editable 3D models. Using a variety of sensor or user-provided data as inputs for CAD reconstruction can democratize access to design applications. However, existing methods typically focus on a single input modality, such as point clouds, images, or text, which limits their generalizability and robustness. Leveraging recent advances in vision-language models (VLM), we propose a multi-modal CAD reconstruction model that simultaneously processes all three input modalities. Inspired by large language model (LLM) training paradigms, we adopt a two-stage pipeline: supervised fine-tuning (SFT) on large-scale procedurally generated data, followed by reinforcement learning (RL) fine-tuning using online feedback, obtained programatically. Furthermore, we are the first to explore RL fine-tuning of LLMs for CAD tasks demonstrating that online RL algorithms such as Group Relative Preference Optimization (GRPO) outperform offline alternatives. In the DeepCAD benchmark, our SFT model outperforms existing single-modal approaches in all three input modalities simultaneously. More importantly, after RL fine-tuning, cadrille sets new state-of-the-art on three challenging datasets, including a real-world one.