TreeMeshGPT: Генерация художественных мешей с использованием авторегрессивного древовидного упорядочивания

TreeMeshGPT: Artistic Mesh Generation with Autoregressive Tree Sequencing

March 14, 2025

Авторы: Stefan Lionar, Jiabin Liang, Gim Hee Lee

cs.AI

Аннотация

Мы представляем TreeMeshGPT — авторегрессивный трансформатор, предназначенный для генерации высококачественных художественных мешей, согласованных с входными облаками точек. Вместо традиционного предсказания следующего токена в авторегрессивных трансформаторах мы предлагаем новый подход — Авторегрессивное Древовидное Последовательное Построение, где следующий входной токен извлекается из динамически растущей древовидной структуры, основанной на треугольной смежности граней внутри меша. Наш подход позволяет мешу локально расширяться от последней сгенерированной треугольной грани на каждом шаге, что снижает сложность обучения и повышает качество меша. Мы представляем каждую треугольную грань двумя токенами, достигая степени сжатия примерно 22% по сравнению с наивной токенизацией граней. Эта эффективная токенизация позволяет нашей модели генерировать высокодетализированные художественные меши с сильной обусловленностью облаками точек, превосходя предыдущие методы как по ёмкости, так и по точности. Кроме того, наш метод генерирует меши с сильными ограничениями на ориентацию нормалей, минимизируя перевернутые нормали, часто встречающиеся в предыдущих методах. Наши эксперименты показывают, что TreeMeshGPT улучшает качество генерации мешей за счет уточненных деталей и согласованности ориентации нормалей.

English

We introduce TreeMeshGPT, an autoregressive Transformer designed to generate high-quality artistic meshes aligned with input point clouds. Instead of the conventional next-token prediction in autoregressive Transformer, we propose a novel Autoregressive Tree Sequencing where the next input token is retrieved from a dynamically growing tree structure that is built upon the triangle adjacency of faces within the mesh. Our sequencing enables the mesh to extend locally from the last generated triangular face at each step, and therefore reduces training difficulty and improves mesh quality. Our approach represents each triangular face with two tokens, achieving a compression rate of approximately 22% compared to the naive face tokenization. This efficient tokenization enables our model to generate highly detailed artistic meshes with strong point cloud conditioning, surpassing previous methods in both capacity and fidelity. Furthermore, our method generates mesh with strong normal orientation constraints, minimizing flipped normals commonly encountered in previous methods. Our experiments show that TreeMeshGPT enhances the mesh generation quality with refined details and normal orientation consistency.