MeshAnything: Генерация сетки, созданная художником с помощью авторегрессивных трансформеров

MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers

June 14, 2024

Авторы: Yiwen Chen, Tong He, Di Huang, Weicai Ye, Sijin Chen, Jiaxiang Tang, Xin Chen, Zhongang Cai, Lei Yang, Gang Yu, Guosheng Lin, Chi Zhang

cs.AI

Аннотация

Недавно трехмерные ресурсы, созданные путем реконструкции и генерации, достигли качества ручных ресурсов, подчеркивая их потенциал для замены. Однако этот потенциал в значительной степени не реализован из-за необходимости преобразования этих ресурсов в сетки для применения в трехмерной индустрии, а сетки, созданные с использованием текущих методов извлечения сеток, значительно уступают сеткам, созданным художниками (AMs), то есть сеткам, созданным человеческими художниками. Конкретно, текущие методы извлечения сеток основаны на плотных гранях и игнорируют геометрические особенности, что приводит к неэффективности, сложной послепроизводственной обработке и более низкому качеству представления. Для решения этих проблем мы представляем MeshAnything, модель, которая рассматривает извлечение сеток как проблему генерации, создавая AMs, выровненные с указанными формами. Преобразуя трехмерные ресурсы в любом трехмерном представлении в AMs, MeshAnything может быть интегрирован с различными методами производства трехмерных ресурсов, тем самым улучшая их применение в трехмерной индустрии. Архитектура MeshAnything включает в себя VQ-VAE и декодер, основанный только на трансформере, условием которого является форма. Сначала мы изучаем словарь сеток, используя VQ-VAE, затем обучаем декодер, основанный только на трансформере, на этом словаре для генерации сеток с условием формы авторегрессии. Наши обширные эксперименты показывают, что наш метод генерирует AMs с сотнями раз меньшим количеством граней, значительно улучшая эффективность хранения, визуализации и симуляции, при этом достигая точности, сравнимой с предыдущими методами.

English

Recently, 3D assets created via reconstruction and generation have matched the quality of manually crafted assets, highlighting their potential for replacement. However, this potential is largely unrealized because these assets always need to be converted to meshes for 3D industry applications, and the meshes produced by current mesh extraction methods are significantly inferior to Artist-Created Meshes (AMs), i.e., meshes created by human artists. Specifically, current mesh extraction methods rely on dense faces and ignore geometric features, leading to inefficiencies, complicated post-processing, and lower representation quality. To address these issues, we introduce MeshAnything, a model that treats mesh extraction as a generation problem, producing AMs aligned with specified shapes. By converting 3D assets in any 3D representation into AMs, MeshAnything can be integrated with various 3D asset production methods, thereby enhancing their application across the 3D industry. The architecture of MeshAnything comprises a VQ-VAE and a shape-conditioned decoder-only transformer. We first learn a mesh vocabulary using the VQ-VAE, then train the shape-conditioned decoder-only transformer on this vocabulary for shape-conditioned autoregressive mesh generation. Our extensive experiments show that our method generates AMs with hundreds of times fewer faces, significantly improving storage, rendering, and simulation efficiencies, while achieving precision comparable to previous methods.