MeshLLM: Grote Taalmodellen in staat stellen om progressief 3D-meshes te begrijpen en te genereren

MeshLLM: Empowering Large Language Models to Progressively Understand and Generate 3D Mesh

August 2, 2025

Auteurs: Shuangkang Fang, I-Chao Shen, Yufeng Wang, Yi-Hsuan Tsai, Yi Yang, Shuchang Zhou, Wenrui Ding, Takeo Igarashi, Ming-Hsuan Yang

cs.AI

Samenvatting

We presenteren MeshLLM, een nieuw framework dat gebruikmaakt van grote taalmodel- len (LLM's) om tekstgeserialiseerde 3D-meshes te begrijpen en te genereren. Onze aanpak lost belangrijke beperkingen op in bestaande methoden, waaronder de beperkte schaal van datasets wanneer deze worden afgestemd op de tokenlengte van LLM's en het verlies van 3D-structuurinformatie tijdens mesh-serialisatie. We introduceren een Primitive-Mesh- decompositiestrategie, waarbij 3D-meshes worden opgedeeld in structureel betekenisvolle subeenheden. Dit maakt de creatie mogelijk van een grootschalige dataset met 1500k+ samples, bijna 50 keer groter dan eerdere methoden, wat beter aansluit bij de schaalwetten van LLM's. Bovendien stellen we voor om gezichtsconnectiviteit af te leiden uit vertices en lokale mesh-assemblagetrainingsstrategieën, wat het vermogen van LLM's om mesh- topologie en ruimtelijke structuren vast te leggen aanzienlijk verbetert. Experimenten tonen aan dat MeshLLM de state-of-the-art LLaMA-Mesh overtreft in zowel de kwaliteit van mesh-generatie als vormbegrip, wat het grote potentieel ervan aantoont in het verwerken van tekstgeserialiseerde 3D-meshes.

English

We present MeshLLM, a novel framework that leverages large language models (LLMs) to understand and generate text-serialized 3D meshes. Our approach addresses key limitations in existing methods, including the limited dataset scale when catering to LLMs' token length and the loss of 3D structural information during mesh serialization. We introduce a Primitive-Mesh decomposition strategy, which divides 3D meshes into structurally meaningful subunits. This enables the creation of a large-scale dataset with 1500k+ samples, almost 50 times larger than previous methods, which aligns better with the LLM scaling law principles. Furthermore, we propose inferring face connectivity from vertices and local mesh assembly training strategies, significantly enhancing the LLMs' ability to capture mesh topology and spatial structures. Experiments show that MeshLLM outperforms the state-of-the-art LLaMA-Mesh in both mesh generation quality and shape understanding, highlighting its great potential in processing text-serialized 3D meshes.