TreeMeshGPT: Geração Artística de Malhas com Sequenciamento Autoregressivo em Árvore

TreeMeshGPT: Artistic Mesh Generation with Autoregressive Tree Sequencing

March 14, 2025

Autores: Stefan Lionar, Jiabin Liang, Gim Hee Lee

cs.AI

Resumo

Apresentamos o TreeMeshGPT, um Transformer autorregressivo projetado para gerar malhas artísticas de alta qualidade alinhadas com nuvens de pontos de entrada. Em vez da previsão convencional do próximo token em Transformers autorregressivos, propomos uma nova Sequenciação de Árvore Autorregressiva, onde o próximo token de entrada é recuperado de uma estrutura de árvore que cresce dinamicamente, construída com base na adjacência triangular das faces dentro da malha. Nossa sequenciação permite que a malha se estenda localmente a partir da última face triangular gerada em cada etapa, reduzindo assim a dificuldade de treinamento e melhorando a qualidade da malha. Nossa abordagem representa cada face triangular com dois tokens, alcançando uma taxa de compressão de aproximadamente 22% em comparação com a tokenização ingênua de faces. Essa tokenização eficiente permite que nosso modelo gere malhas artísticas altamente detalhadas com forte condicionamento da nuvem de pontos, superando métodos anteriores em capacidade e fidelidade. Além disso, nosso método gera malhas com fortes restrições de orientação normal, minimizando normais invertidas comumente encontradas em métodos anteriores. Nossos experimentos mostram que o TreeMeshGPT melhora a qualidade da geração de malhas com detalhes refinados e consistência na orientação normal.

English

We introduce TreeMeshGPT, an autoregressive Transformer designed to generate high-quality artistic meshes aligned with input point clouds. Instead of the conventional next-token prediction in autoregressive Transformer, we propose a novel Autoregressive Tree Sequencing where the next input token is retrieved from a dynamically growing tree structure that is built upon the triangle adjacency of faces within the mesh. Our sequencing enables the mesh to extend locally from the last generated triangular face at each step, and therefore reduces training difficulty and improves mesh quality. Our approach represents each triangular face with two tokens, achieving a compression rate of approximately 22% compared to the naive face tokenization. This efficient tokenization enables our model to generate highly detailed artistic meshes with strong point cloud conditioning, surpassing previous methods in both capacity and fidelity. Furthermore, our method generates mesh with strong normal orientation constraints, minimizing flipped normals commonly encountered in previous methods. Our experiments show that TreeMeshGPT enhances the mesh generation quality with refined details and normal orientation consistency.