MeshLLM: Ermächtigung großer Sprachmodelle, 3D-Meshes schrittweise zu verstehen und zu generieren

MeshLLM: Empowering Large Language Models to Progressively Understand and Generate 3D Mesh

August 2, 2025

papers.authors: Shuangkang Fang, I-Chao Shen, Yufeng Wang, Yi-Hsuan Tsai, Yi Yang, Shuchang Zhou, Wenrui Ding, Takeo Igarashi, Ming-Hsuan Yang

cs.AI

papers.abstract

Wir präsentieren MeshLLM, ein neuartiges Framework, das große Sprachmodelle (LLMs) nutzt, um textserialisierte 3D-Meshes zu verstehen und zu generieren. Unser Ansatz adressiert zentrale Einschränkungen bestehender Methoden, darunter den begrenzten Datensatzumfang bei der Berücksichtigung der Token-Länge von LLMs sowie den Verlust von 3D-Strukturinformationen während der Mesh-Serialisierung. Wir führen eine Primitive-Mesh-Zerlegungsstrategie ein, die 3D-Meshes in strukturell bedeutsame Untereinheiten aufteilt. Dies ermöglicht die Erstellung eines groß angelegten Datensatzes mit über 1500k Proben, der fast 50-mal größer ist als bei bisherigen Methoden und besser mit den Skalierungsgesetzen von LLMs übereinstimmt. Darüber hinaus schlagen wir vor, die Flächenkonnektivität aus Vertices abzuleiten und lokale Mesh-Assembly-Trainingsstrategien zu verwenden, wodurch die Fähigkeit der LLMs, Mesh-Topologie und räumliche Strukturen zu erfassen, erheblich verbessert wird. Experimente zeigen, dass MeshLLM den state-of-the-art LLaMA-Mesh sowohl in der Mesh-Generierungsqualität als auch im Formverständnis übertrifft, was sein großes Potenzial bei der Verarbeitung textserialisierter 3D-Meshes unterstreicht.

English

We present MeshLLM, a novel framework that leverages large language models (LLMs) to understand and generate text-serialized 3D meshes. Our approach addresses key limitations in existing methods, including the limited dataset scale when catering to LLMs' token length and the loss of 3D structural information during mesh serialization. We introduce a Primitive-Mesh decomposition strategy, which divides 3D meshes into structurally meaningful subunits. This enables the creation of a large-scale dataset with 1500k+ samples, almost 50 times larger than previous methods, which aligns better with the LLM scaling law principles. Furthermore, we propose inferring face connectivity from vertices and local mesh assembly training strategies, significantly enhancing the LLMs' ability to capture mesh topology and spatial structures. Experiments show that MeshLLM outperforms the state-of-the-art LLaMA-Mesh in both mesh generation quality and shape understanding, highlighting its great potential in processing text-serialized 3D meshes.