MeshCoder: LLM-gestuurde gestructureerde meshcodegeneratie vanuit puntenwolken

MeshCoder: LLM-Powered Structured Mesh Code Generation from Point Clouds

August 20, 2025

Auteurs: Bingquan Dai, Li Ray Luo, Qihong Tang, Jie Wang, Xinyu Lian, Hao Xu, Minghan Qin, Xudong Xu, Bo Dai, Haoqian Wang, Zhaoyang Lyu, Jiangmiao Pang

cs.AI

Samenvatting

Het reconstrueren van 3D-objecten naar bewerkbare programma's is cruciaal voor toepassingen zoals reverse engineering en vormbewerking. Bestaande methoden vertrouwen echter vaak op beperkte domeinspecifieke talen (DSL's) en kleinschalige datasets, wat hun vermogen om complexe geometrieën en structuren te modelleren beperkt. Om deze uitdagingen aan te pakken, introduceren we MeshCoder, een nieuw framework dat complexe 3D-objecten vanuit puntenwolken reconstrueert naar bewerkbare Blender Python-scripts. We ontwikkelen een uitgebreide set expressieve Blender Python API's die in staat zijn om ingewikkelde geometrieën te synthetiseren. Door gebruik te maken van deze API's, construeren we een grootschalige gepaarde object-code dataset, waarbij de code voor elk object wordt opgedeeld in afzonderlijke semantische delen. Vervolgens trainen we een multimodaal groot taalmodel (LLM) dat 3D-puntenwolken vertaalt naar uitvoerbare Blender Python-scripts. Onze aanpak behaalt niet alleen superieure prestaties in vorm-naar-code reconstructietaken, maar vergemakkelijkt ook intuïtieve geometrische en topologische bewerkingen door middel van handige codewijzigingen. Bovendien verbetert onze code-gebaseerde representatie de redeneercapaciteiten van LLM's in 3D-vormbegriptaken. Samen vestigen deze bijdragen MeshCoder als een krachtige en flexibele oplossing voor programmatische 3D-vormreconstructie en -begrip.

English

Reconstructing 3D objects into editable programs is pivotal for applications like reverse engineering and shape editing. However, existing methods often rely on limited domain-specific languages (DSLs) and small-scale datasets, restricting their ability to model complex geometries and structures. To address these challenges, we introduce MeshCoder, a novel framework that reconstructs complex 3D objects from point clouds into editable Blender Python scripts. We develop a comprehensive set of expressive Blender Python APIs capable of synthesizing intricate geometries. Leveraging these APIs, we construct a large-scale paired object-code dataset, where the code for each object is decomposed into distinct semantic parts. Subsequently, we train a multimodal large language model (LLM) that translates 3D point cloud into executable Blender Python scripts. Our approach not only achieves superior performance in shape-to-code reconstruction tasks but also facilitates intuitive geometric and topological editing through convenient code modifications. Furthermore, our code-based representation enhances the reasoning capabilities of LLMs in 3D shape understanding tasks. Together, these contributions establish MeshCoder as a powerful and flexible solution for programmatic 3D shape reconstruction and understanding.