MeshCraft: Explorando la Generación Eficiente y Controlable de Mallas con DiTs Basados en Flujos

MeshCraft: Exploring Efficient and Controllable Mesh Generation with Flow-based DiTs

March 29, 2025

Autores: Xianglong He, Junyi Chen, Di Huang, Zexiang Liu, Xiaoshui Huang, Wanli Ouyang, Chun Yuan, Yangguang Li

cs.AI

Resumen

En el ámbito de la creación de contenido 3D, lograr una topología de malla óptima mediante modelos de IA ha sido un objetivo perseguido durante mucho tiempo por los artistas 3D. Métodos anteriores, como MeshGPT, han explorado la generación de objetos 3D listos para usar a través de técnicas auto-regresivas de malla. Aunque estos métodos producen resultados visualmente impresionantes, su dependencia de predicciones token por token en el proceso auto-regresivo conlleva varias limitaciones significativas. Estas incluyen velocidades de generación extremadamente lentas y un número incontrolable de caras de malla. En este artículo, presentamos MeshCraft, un marco novedoso para la generación eficiente y controlable de mallas, que aprovecha la difusión espacial continua para generar caras triangulares discretas. Específicamente, MeshCraft consta de dos componentes principales: 1) un VAE basado en transformadores que codifica mallas crudas en tokens continuos a nivel de cara y las decodifica de vuelta a las mallas originales, y 2) un transformador de difusión basado en flujo condicionado por el número de caras, permitiendo la generación de mallas 3D de alta calidad con un número predefinido de caras. Al utilizar el modelo de difusión para la generación simultánea de toda la topología de la malla, MeshCraft logra una generación de mallas de alta fidelidad a velocidades significativamente más rápidas en comparación con los métodos auto-regresivos. En concreto, MeshCraft puede generar una malla de 800 caras en solo 3.2 segundos (35 veces más rápido que los métodos base existentes). Experimentos exhaustivos demuestran que MeshCraft supera a las técnicas más avanzadas tanto en evaluaciones cualitativas como cuantitativas en el conjunto de datos ShapeNet y muestra un rendimiento superior en el conjunto de datos Objaverse. Además, se integra perfectamente con las estrategias de guía condicional existentes, mostrando su potencial para liberar a los artistas del trabajo manual y tedioso involucrado en la creación de mallas.

English

In the domain of 3D content creation, achieving optimal mesh topology through AI models has long been a pursuit for 3D artists. Previous methods, such as MeshGPT, have explored the generation of ready-to-use 3D objects via mesh auto-regressive techniques. While these methods produce visually impressive results, their reliance on token-by-token predictions in the auto-regressive process leads to several significant limitations. These include extremely slow generation speeds and an uncontrollable number of mesh faces. In this paper, we introduce MeshCraft, a novel framework for efficient and controllable mesh generation, which leverages continuous spatial diffusion to generate discrete triangle faces. Specifically, MeshCraft consists of two core components: 1) a transformer-based VAE that encodes raw meshes into continuous face-level tokens and decodes them back to the original meshes, and 2) a flow-based diffusion transformer conditioned on the number of faces, enabling the generation of high-quality 3D meshes with a predefined number of faces. By utilizing the diffusion model for the simultaneous generation of the entire mesh topology, MeshCraft achieves high-fidelity mesh generation at significantly faster speeds compared to auto-regressive methods. Specifically, MeshCraft can generate an 800-face mesh in just 3.2 seconds (35times faster than existing baselines). Extensive experiments demonstrate that MeshCraft outperforms state-of-the-art techniques in both qualitative and quantitative evaluations on ShapeNet dataset and demonstrates superior performance on Objaverse dataset. Moreover, it integrates seamlessly with existing conditional guidance strategies, showcasing its potential to relieve artists from the time-consuming manual work involved in mesh creation.