MeshLLM: Capacitando Modelos de Linguagem de Grande Porte a Compreender e Gerar Progressivamente Malhas 3D

MeshLLM: Empowering Large Language Models to Progressively Understand and Generate 3D Mesh

August 2, 2025

Autores: Shuangkang Fang, I-Chao Shen, Yufeng Wang, Yi-Hsuan Tsai, Yi Yang, Shuchang Zhou, Wenrui Ding, Takeo Igarashi, Ming-Hsuan Yang

cs.AI

Resumo

Apresentamos o MeshLLM, uma estrutura inovadora que aproveita modelos de linguagem de grande escala (LLMs) para compreender e gerar malhas 3D serializadas em texto. Nossa abordagem aborda limitações fundamentais nos métodos existentes, incluindo a escala limitada de conjuntos de dados ao atender ao comprimento de tokens dos LLMs e a perda de informações estruturais 3D durante a serialização de malhas. Introduzimos uma estratégia de decomposição Primitive-Mesh, que divide malhas 3D em subunidades estruturalmente significativas. Isso possibilita a criação de um conjunto de dados em larga escala com mais de 1500k amostras, quase 50 vezes maior do que os métodos anteriores, o que se alinha melhor com os princípios da lei de escalonamento dos LLMs. Além disso, propomos a inferência de conectividade de faces a partir de vértices e estratégias de treinamento de montagem local de malhas, aprimorando significativamente a capacidade dos LLMs de capturar a topologia de malhas e estruturas espaciais. Experimentos mostram que o MeshLLM supera o estado da arte LLaMA-Mesh tanto na qualidade de geração de malhas quanto na compreensão de formas, destacando seu grande potencial no processamento de malhas 3D serializadas em texto.

English

We present MeshLLM, a novel framework that leverages large language models (LLMs) to understand and generate text-serialized 3D meshes. Our approach addresses key limitations in existing methods, including the limited dataset scale when catering to LLMs' token length and the loss of 3D structural information during mesh serialization. We introduce a Primitive-Mesh decomposition strategy, which divides 3D meshes into structurally meaningful subunits. This enables the creation of a large-scale dataset with 1500k+ samples, almost 50 times larger than previous methods, which aligns better with the LLM scaling law principles. Furthermore, we propose inferring face connectivity from vertices and local mesh assembly training strategies, significantly enhancing the LLMs' ability to capture mesh topology and spatial structures. Experiments show that MeshLLM outperforms the state-of-the-art LLaMA-Mesh in both mesh generation quality and shape understanding, highlighting its great potential in processing text-serialized 3D meshes.