TreeMeshGPT: Generación Artística de Mallas con Secuenciación Autoregresiva en Árbol

TreeMeshGPT: Artistic Mesh Generation with Autoregressive Tree Sequencing

March 14, 2025

Autores: Stefan Lionar, Jiabin Liang, Gim Hee Lee

cs.AI

Resumen

Presentamos TreeMeshGPT, un Transformer autorregresivo diseñado para generar mallas artísticas de alta calidad alineadas con nubes de puntos de entrada. En lugar de la predicción convencional del siguiente token en Transformers autorregresivos, proponemos una novedosa Secuenciación de Árbol Autorregresivo donde el siguiente token de entrada se recupera de una estructura de árbol en crecimiento dinámico que se construye sobre la adyacencia triangular de las caras dentro de la malla. Nuestra secuenciación permite que la malla se extienda localmente desde la última cara triangular generada en cada paso, reduciendo así la dificultad de entrenamiento y mejorando la calidad de la malla. Nuestro enfoque representa cada cara triangular con dos tokens, logrando una tasa de compresión de aproximadamente un 22% en comparación con la tokenización ingenua de caras. Esta tokenización eficiente permite que nuestro modelo genere mallas artísticas altamente detalladas con un fuerte condicionamiento de la nube de puntos, superando a métodos anteriores tanto en capacidad como en fidelidad. Además, nuestro método genera mallas con fuertes restricciones de orientación normal, minimizando las normales invertidas comúnmente encontradas en métodos anteriores. Nuestros experimentos muestran que TreeMeshGPT mejora la calidad de generación de mallas con detalles refinados y consistencia en la orientación de las normales.

English

We introduce TreeMeshGPT, an autoregressive Transformer designed to generate high-quality artistic meshes aligned with input point clouds. Instead of the conventional next-token prediction in autoregressive Transformer, we propose a novel Autoregressive Tree Sequencing where the next input token is retrieved from a dynamically growing tree structure that is built upon the triangle adjacency of faces within the mesh. Our sequencing enables the mesh to extend locally from the last generated triangular face at each step, and therefore reduces training difficulty and improves mesh quality. Our approach represents each triangular face with two tokens, achieving a compression rate of approximately 22% compared to the naive face tokenization. This efficient tokenization enables our model to generate highly detailed artistic meshes with strong point cloud conditioning, surpassing previous methods in both capacity and fidelity. Furthermore, our method generates mesh with strong normal orientation constraints, minimizing flipped normals commonly encountered in previous methods. Our experiments show that TreeMeshGPT enhances the mesh generation quality with refined details and normal orientation consistency.