TreeMeshGPT：オートレグレッシブツリーシーケンシングによる芸術的メッシュ生成

要旨

本論文では、入力点群に整合した高品質な芸術的メッシュを生成するために設計された自己回帰型TransformerであるTreeMeshGPTを紹介します。従来の自己回帰型Transformerにおける次のトークン予測の代わりに、メッシュ内の面の三角形隣接関係に基づいて動的に成長する木構造から次の入力トークンを取得する新しい自己回帰型木構造シーケンスを提案します。このシーケンス手法により、メッシュは各ステップで最後に生成された三角形の面から局所的に拡張され、その結果、学習の難易度が低減され、メッシュの品質が向上します。本手法では、各三角形の面を2つのトークンで表現し、素朴な面トークン化と比較して約22%の圧縮率を達成します。この効率的なトークン化により、モデルは強力な点群条件付けを伴った非常に詳細な芸術的メッシュを生成し、従来の手法を容量と忠実度の両面で凌駕します。さらに、本手法は強い法線方向の制約を伴ったメッシュを生成し、従来の手法で頻繁に発生していた法線の反転を最小限に抑えます。実験結果は、TreeMeshGPTが洗練された詳細と法線方向の一貫性を伴ったメッシュ生成品質を向上させることを示しています。

English

We introduce TreeMeshGPT, an autoregressive Transformer designed to generate high-quality artistic meshes aligned with input point clouds. Instead of the conventional next-token prediction in autoregressive Transformer, we propose a novel Autoregressive Tree Sequencing where the next input token is retrieved from a dynamically growing tree structure that is built upon the triangle adjacency of faces within the mesh. Our sequencing enables the mesh to extend locally from the last generated triangular face at each step, and therefore reduces training difficulty and improves mesh quality. Our approach represents each triangular face with two tokens, achieving a compression rate of approximately 22% compared to the naive face tokenization. This efficient tokenization enables our model to generate highly detailed artistic meshes with strong point cloud conditioning, surpassing previous methods in both capacity and fidelity. Furthermore, our method generates mesh with strong normal orientation constraints, minimizing flipped normals commonly encountered in previous methods. Our experiments show that TreeMeshGPT enhances the mesh generation quality with refined details and normal orientation consistency.

TreeMeshGPT：オートレグレッシブツリーシーケンシングによる芸術的メッシュ生成

TreeMeshGPT: Artistic Mesh Generation with Autoregressive Tree Sequencing

要旨

Support