cadrille: Multimodale CAD-Rekonstruktion mit Online Reinforcement Learning

cadrille: Multi-modal CAD Reconstruction with Online Reinforcement Learning

May 28, 2025

Autoren: Maksim Kolodiazhnyi, Denis Tarasov, Dmitrii Zhemchuzhnikov, Alexander Nikulin, Ilya Zisman, Anna Vorontsova, Anton Konushin, Vladislav Kurenkov, Danila Rukhovich

cs.AI

Zusammenfassung

Computer-Aided Design (CAD) spielt eine zentrale Rolle in der Ingenieurwissenschaft und Fertigung, da es die Erstellung präziser und bearbeitbarer 3D-Modelle ermöglicht. Die Verwendung verschiedener Sensordaten oder benutzerbereitgestellter Daten als Eingaben für die CAD-Rekonstruktion kann den Zugang zu Designanwendungen demokratisieren. Bestehende Methoden konzentrieren sich jedoch typischerweise auf eine einzelne Eingabemodalität, wie Punktwolken, Bilder oder Text, was ihre Allgemeingültigkeit und Robustheit einschränkt. Unter Nutzung der jüngsten Fortschritte in Vision-Language-Modellen (VLM) schlagen wir ein multimodales CAD-Rekonstruktionsmodell vor, das alle drei Eingabemodalitäten gleichzeitig verarbeitet. Inspiriert von den Trainingsparadigmen großer Sprachmodelle (LLM) verwenden wir eine zweistufige Pipeline: überwachtes Feinabstimmen (SFT) auf groß angelegten, prozedural generierten Daten, gefolgt von einem Feinabstimmen mittels Reinforcement Learning (RL) unter Verwendung von programmatisch erhaltener Online-Rückmeldung. Darüber hinaus sind wir die ersten, die RL-Feinabstimmen von LLMs für CAD-Aufgaben untersuchen und zeigen, dass Online-RL-Algorithmen wie Group Relative Preference Optimization (GRPO) Offline-Alternativen übertreffen. Im DeepCAD-Benchmark übertrifft unser SFT-Modell bestehende unimodale Ansätze in allen drei Eingabemodalitäten gleichzeitig. Noch wichtiger ist, dass cadrille nach dem RL-Feinabstimmen neue State-of-the-Art-Ergebnisse in drei anspruchsvollen Datensätzen, einschließlich eines realen Datensatzes, erzielt.

English

Computer-Aided Design (CAD) plays a central role in engineering and manufacturing, making it possible to create precise and editable 3D models. Using a variety of sensor or user-provided data as inputs for CAD reconstruction can democratize access to design applications. However, existing methods typically focus on a single input modality, such as point clouds, images, or text, which limits their generalizability and robustness. Leveraging recent advances in vision-language models (VLM), we propose a multi-modal CAD reconstruction model that simultaneously processes all three input modalities. Inspired by large language model (LLM) training paradigms, we adopt a two-stage pipeline: supervised fine-tuning (SFT) on large-scale procedurally generated data, followed by reinforcement learning (RL) fine-tuning using online feedback, obtained programatically. Furthermore, we are the first to explore RL fine-tuning of LLMs for CAD tasks demonstrating that online RL algorithms such as Group Relative Preference Optimization (GRPO) outperform offline alternatives. In the DeepCAD benchmark, our SFT model outperforms existing single-modal approaches in all three input modalities simultaneously. More importantly, after RL fine-tuning, cadrille sets new state-of-the-art on three challenging datasets, including a real-world one.