TreeMeshGPT : Génération artistique de maillages par séquencement arborescent autoregressif

TreeMeshGPT: Artistic Mesh Generation with Autoregressive Tree Sequencing

March 14, 2025

Auteurs: Stefan Lionar, Jiabin Liang, Gim Hee Lee

cs.AI

Résumé

Nous présentons TreeMeshGPT, un Transformer autorégressif conçu pour générer des maillages artistiques de haute qualité alignés avec des nuages de points en entrée. Au lieu de la prédiction conventionnelle du prochain jeton dans un Transformer autorégressif, nous proposons une nouvelle Séquence Arborescente Autorégressive où le prochain jeton d'entrée est récupéré à partir d'une structure arborescente en croissance dynamique, construite sur l'adjacence triangulaire des faces au sein du maillage. Notre séquence permet au maillage de s'étendre localement à partir de la dernière face triangulaire générée à chaque étape, réduisant ainsi la difficulté d'entraînement et améliorant la qualité du maillage. Notre approche représente chaque face triangulaire avec deux jetons, atteignant un taux de compression d'environ 22 % par rapport à la tokenisation naïve des faces. Cette tokenisation efficace permet à notre modèle de générer des maillages artistiques très détaillés avec un fort conditionnement sur le nuage de points, surpassant les méthodes précédentes en termes de capacité et de fidélité. De plus, notre méthode génère des maillages avec de fortes contraintes d'orientation des normales, minimisant les normales inversées couramment rencontrées dans les méthodes précédentes. Nos expériences montrent que TreeMeshGPT améliore la qualité de la génération de maillages avec des détails raffinés et une cohérence dans l'orientation des normales.

English

We introduce TreeMeshGPT, an autoregressive Transformer designed to generate high-quality artistic meshes aligned with input point clouds. Instead of the conventional next-token prediction in autoregressive Transformer, we propose a novel Autoregressive Tree Sequencing where the next input token is retrieved from a dynamically growing tree structure that is built upon the triangle adjacency of faces within the mesh. Our sequencing enables the mesh to extend locally from the last generated triangular face at each step, and therefore reduces training difficulty and improves mesh quality. Our approach represents each triangular face with two tokens, achieving a compression rate of approximately 22% compared to the naive face tokenization. This efficient tokenization enables our model to generate highly detailed artistic meshes with strong point cloud conditioning, surpassing previous methods in both capacity and fidelity. Furthermore, our method generates mesh with strong normal orientation constraints, minimizing flipped normals commonly encountered in previous methods. Our experiments show that TreeMeshGPT enhances the mesh generation quality with refined details and normal orientation consistency.