MeshAnything V2: Генерация сетки, созданной художником, с смежной токенизацией сетки.

MeshAnything V2: Artist-Created Mesh Generation With Adjacent Mesh Tokenization

August 5, 2024

Авторы: Yiwen Chen, Yikai Wang, Yihao Luo, Zhengyi Wang, Zilong Chen, Jun Zhu, Chi Zhang, Guosheng Lin

cs.AI

Аннотация

Мы представляем MeshAnything V2, авторегрессионный трансформер, который генерирует сетки, созданные художниками (AM), выровненные по заданным формам. Он может быть интегрирован в различные конвейеры производства 3D-ресурсов для достижения высококачественной и высококонтролируемой генерации AM. MeshAnything V2 превосходит предыдущие методы как по эффективности, так и по производительности с использованием моделей одинакового размера. Эти улучшения обусловлены нашим недавно предложенным методом токенизации сетки: Смежная токенизация сетки (AMT). В отличие от предыдущих методов, представляющих каждое лицо тремя вершинами, AMT использует одну вершину, когда это возможно. По сравнению с предыдущими методами, AMT требует примерно вдвое меньше длины последовательности токенов для представления одной и той же сетки в среднем. Более того, последовательности токенов из AMT более компактны и хорошо структурированы, что в основе благоприятствует генерации AM. Наши обширные эксперименты показывают, что AMT значительно улучшает эффективность и производительность генерации AM. Страница проекта: https://buaacyw.github.io/meshanything-v2/

English

We introduce MeshAnything V2, an autoregressive transformer that generates Artist-Created Meshes (AM) aligned to given shapes. It can be integrated with various 3D asset production pipelines to achieve high-quality, highly controllable AM generation. MeshAnything V2 surpasses previous methods in both efficiency and performance using models of the same size. These improvements are due to our newly proposed mesh tokenization method: Adjacent Mesh Tokenization (AMT). Different from previous methods that represent each face with three vertices, AMT uses a single vertex whenever possible. Compared to previous methods, AMT requires about half the token sequence length to represent the same mesh in average. Furthermore, the token sequences from AMT are more compact and well-structured, fundamentally benefiting AM generation. Our extensive experiments show that AMT significantly improves the efficiency and performance of AM generation. Project Page: https://buaacyw.github.io/meshanything-v2/