MeshAnything: Generación de Mallas Creadas por Artistas con Transformadores Autoregresivos

MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers

June 14, 2024

Autores: Yiwen Chen, Tong He, Di Huang, Weicai Ye, Sijin Chen, Jiaxiang Tang, Xin Chen, Zhongang Cai, Lei Yang, Gang Yu, Guosheng Lin, Chi Zhang

cs.AI

Resumen

Recientemente, los activos 3D creados mediante reconstrucción y generación han igualado la calidad de los activos elaborados manualmente, destacando su potencial de reemplazo. Sin embargo, este potencial está en gran parte sin realizarse porque estos activos siempre necesitan ser convertidos en mallas para aplicaciones en la industria 3D, y las mallas producidas por los métodos actuales de extracción de mallas son significativamente inferiores a las Mallas Creadas por Artistas (AMs), es decir, mallas creadas por artistas humanos. Específicamente, los métodos actuales de extracción de mallas dependen de caras densas e ignoran las características geométricas, lo que lleva a ineficiencias, postprocesamiento complicado y una menor calidad de representación. Para abordar estos problemas, presentamos MeshAnything, un modelo que trata la extracción de mallas como un problema de generación, produciendo AMs alineadas con formas especificadas. Al convertir activos 3D en cualquier representación 3D en AMs, MeshAnything puede integrarse con diversos métodos de producción de activos 3D, mejorando así su aplicación en la industria 3D. La arquitectura de MeshAnything comprende un VQ-VAE y un transformador decodificador condicionado por la forma. Primero aprendemos un vocabulario de mallas utilizando el VQ-VAE, luego entrenamos el transformador decodificador condicionado por la forma en este vocabulario para la generación autoregresiva de mallas condicionada por la forma. Nuestros extensos experimentos muestran que nuestro método genera AMs con cientos de veces menos caras, mejorando significativamente la eficiencia de almacenamiento, renderizado y simulación, mientras alcanza una precisión comparable a los métodos anteriores.

English

Recently, 3D assets created via reconstruction and generation have matched the quality of manually crafted assets, highlighting their potential for replacement. However, this potential is largely unrealized because these assets always need to be converted to meshes for 3D industry applications, and the meshes produced by current mesh extraction methods are significantly inferior to Artist-Created Meshes (AMs), i.e., meshes created by human artists. Specifically, current mesh extraction methods rely on dense faces and ignore geometric features, leading to inefficiencies, complicated post-processing, and lower representation quality. To address these issues, we introduce MeshAnything, a model that treats mesh extraction as a generation problem, producing AMs aligned with specified shapes. By converting 3D assets in any 3D representation into AMs, MeshAnything can be integrated with various 3D asset production methods, thereby enhancing their application across the 3D industry. The architecture of MeshAnything comprises a VQ-VAE and a shape-conditioned decoder-only transformer. We first learn a mesh vocabulary using the VQ-VAE, then train the shape-conditioned decoder-only transformer on this vocabulary for shape-conditioned autoregressive mesh generation. Our extensive experiments show that our method generates AMs with hundreds of times fewer faces, significantly improving storage, rendering, and simulation efficiencies, while achieving precision comparable to previous methods.