TreeMeshGPT: Artistieke Mesh-generatie met Autoregressieve Boomsequenties

TreeMeshGPT: Artistic Mesh Generation with Autoregressive Tree Sequencing

March 14, 2025

Auteurs: Stefan Lionar, Jiabin Liang, Gim Hee Lee

cs.AI

Samenvatting

We introduceren TreeMeshGPT, een autoregressieve Transformer die is ontworpen om hoogwaardige artistieke meshes te genereren die zijn afgestemd op invoerpuntenwolken. In plaats van de conventionele voorspelling van het volgende token in een autoregressieve Transformer, stellen we een nieuwe Autoregressieve Boomsequentie voor, waarbij het volgende invoertoken wordt opgehaald uit een dynamisch groeiende boomstructuur die is gebaseerd op de driehoekige aangrenzing van vlakken binnen de mesh. Onze sequentie maakt het mogelijk dat de mesh lokaal uitbreidt vanaf het laatst gegenereerde driehoekige vlak bij elke stap, waardoor de trainingsmoeilijkheid wordt verminderd en de meshkwaliteit wordt verbeterd. Onze aanpak vertegenwoordigt elk driehoekig vlak met twee tokens, wat een compressiepercentage van ongeveer 22% oplevert in vergelijking met de naïeve vlaktokenisatie. Deze efficiënte tokenisatie stelt ons model in staat om zeer gedetailleerde artistieke meshes te genereren met sterke conditionering op puntenwolken, waardoor eerdere methoden worden overtroffen in zowel capaciteit als nauwkeurigheid. Bovendien genereert onze methode meshes met sterke beperkingen op de normaaloriëntatie, waardoor omgekeerde normalen die vaak voorkomen in eerdere methoden worden geminimaliseerd. Onze experimenten tonen aan dat TreeMeshGPT de kwaliteit van de meshgeneratie verbetert met verfijnde details en consistentie in de normaaloriëntatie.

English

We introduce TreeMeshGPT, an autoregressive Transformer designed to generate high-quality artistic meshes aligned with input point clouds. Instead of the conventional next-token prediction in autoregressive Transformer, we propose a novel Autoregressive Tree Sequencing where the next input token is retrieved from a dynamically growing tree structure that is built upon the triangle adjacency of faces within the mesh. Our sequencing enables the mesh to extend locally from the last generated triangular face at each step, and therefore reduces training difficulty and improves mesh quality. Our approach represents each triangular face with two tokens, achieving a compression rate of approximately 22% compared to the naive face tokenization. This efficient tokenization enables our model to generate highly detailed artistic meshes with strong point cloud conditioning, surpassing previous methods in both capacity and fidelity. Furthermore, our method generates mesh with strong normal orientation constraints, minimizing flipped normals commonly encountered in previous methods. Our experiments show that TreeMeshGPT enhances the mesh generation quality with refined details and normal orientation consistency.