MeshCoder: 점 구름에서 구조화된 메쉬 코드 생성을 위한 LLM 기반 기술

MeshCoder: LLM-Powered Structured Mesh Code Generation from Point Clouds

August 20, 2025

저자: Bingquan Dai, Li Ray Luo, Qihong Tang, Jie Wang, Xinyu Lian, Hao Xu, Minghan Qin, Xudong Xu, Bo Dai, Haoqian Wang, Zhaoyang Lyu, Jiangmiao Pang

cs.AI

초록

3D 객체를 편집 가능한 프로그램으로 재구성하는 것은 역공학 및 형태 편집과 같은 응용 분야에서 매우 중요하다. 그러나 기존 방법들은 제한된 도메인 특화 언어(DSL)와 소규모 데이터셋에 의존하는 경우가 많아, 복잡한 기하학적 구조와 형태를 모델링하는 데 한계가 있다. 이러한 문제를 해결하기 위해, 우리는 MeshCoder라는 새로운 프레임워크를 소개한다. MeshCoder는 복잡한 3D 객체를 포인트 클라우드에서 편집 가능한 Blender Python 스크립트로 재구성한다. 우리는 복잡한 기하학적 구조를 합성할 수 있는 포괄적인 Blender Python API 세트를 개발했다. 이러한 API를 활용하여, 각 객체의 코드를 별도의 의미론적 부분으로 분해한 대규모 객체-코드 쌍 데이터셋을 구축하였다. 이후, 3D 포인트 클라우드를 실행 가능한 Blender Python 스크립트로 변환하는 다중 모드 대형 언어 모델(LLM)을 학습시켰다. 우리의 접근 방식은 형태-코드 재구성 작업에서 우수한 성능을 달성할 뿐만 아니라, 편리한 코드 수정을 통해 직관적인 기하학적 및 위상학적 편집을 가능하게 한다. 또한, 코드 기반 표현은 3D 형태 이해 작업에서 LLM의 추론 능력을 향상시킨다. 이러한 공헌들은 MeshCoder를 프로그래밍 방식의 3D 형태 재구성 및 이해를 위한 강력하고 유연한 솔루션으로 자리매김하게 한다.

English

Reconstructing 3D objects into editable programs is pivotal for applications like reverse engineering and shape editing. However, existing methods often rely on limited domain-specific languages (DSLs) and small-scale datasets, restricting their ability to model complex geometries and structures. To address these challenges, we introduce MeshCoder, a novel framework that reconstructs complex 3D objects from point clouds into editable Blender Python scripts. We develop a comprehensive set of expressive Blender Python APIs capable of synthesizing intricate geometries. Leveraging these APIs, we construct a large-scale paired object-code dataset, where the code for each object is decomposed into distinct semantic parts. Subsequently, we train a multimodal large language model (LLM) that translates 3D point cloud into executable Blender Python scripts. Our approach not only achieves superior performance in shape-to-code reconstruction tasks but also facilitates intuitive geometric and topological editing through convenient code modifications. Furthermore, our code-based representation enhances the reasoning capabilities of LLMs in 3D shape understanding tasks. Together, these contributions establish MeshCoder as a powerful and flexible solution for programmatic 3D shape reconstruction and understanding.