MeshCoder: Генерация структурированных сеточных кодов на основе облаков точек с использованием языковых моделей

MeshCoder: LLM-Powered Structured Mesh Code Generation from Point Clouds

August 20, 2025

Авторы: Bingquan Dai, Li Ray Luo, Qihong Tang, Jie Wang, Xinyu Lian, Hao Xu, Minghan Qin, Xudong Xu, Bo Dai, Haoqian Wang, Zhaoyang Lyu, Jiangmiao Pang

cs.AI

Аннотация

Реконструкция 3D-объектов в редактируемые программы имеет ключевое значение для таких приложений, как обратное проектирование и редактирование форм. Однако существующие методы часто полагаются на ограниченные предметно-ориентированные языки (DSL) и небольшие наборы данных, что ограничивает их способность моделировать сложные геометрии и структуры. Для решения этих проблем мы представляем MeshCoder — новый фреймворк, который реконструирует сложные 3D-объекты из облаков точек в редактируемые скрипты на языке Python для Blender. Мы разрабатываем комплексный набор выразительных API на Python для Blender, способных синтезировать сложные геометрии. Используя эти API, мы создаем крупномасштабный парный набор данных объект-код, где код для каждого объекта разбит на отдельные семантические части. Затем мы обучаем мультимодальную большую языковую модель (LLM), которая преобразует 3D-облако точек в исполняемые скрипты на Python для Blender. Наш подход не только демонстрирует превосходную производительность в задачах реконструкции формы в код, но также обеспечивает интуитивное геометрическое и топологическое редактирование через удобные модификации кода. Кроме того, наше представление на основе кода усиливает способности LLM к рассуждению в задачах понимания 3D-форм. В совокупности эти вклады делают MeshCoder мощным и гибким решением для программной реконструкции и понимания 3D-форм.

English

Reconstructing 3D objects into editable programs is pivotal for applications like reverse engineering and shape editing. However, existing methods often rely on limited domain-specific languages (DSLs) and small-scale datasets, restricting their ability to model complex geometries and structures. To address these challenges, we introduce MeshCoder, a novel framework that reconstructs complex 3D objects from point clouds into editable Blender Python scripts. We develop a comprehensive set of expressive Blender Python APIs capable of synthesizing intricate geometries. Leveraging these APIs, we construct a large-scale paired object-code dataset, where the code for each object is decomposed into distinct semantic parts. Subsequently, we train a multimodal large language model (LLM) that translates 3D point cloud into executable Blender Python scripts. Our approach not only achieves superior performance in shape-to-code reconstruction tasks but also facilitates intuitive geometric and topological editing through convenient code modifications. Furthermore, our code-based representation enhances the reasoning capabilities of LLMs in 3D shape understanding tasks. Together, these contributions establish MeshCoder as a powerful and flexible solution for programmatic 3D shape reconstruction and understanding.