MeshCraft: Explorando a Geração Eficiente e Controlável de Malhas com DiTs Baseados em Fluxo

MeshCraft: Exploring Efficient and Controllable Mesh Generation with Flow-based DiTs

March 29, 2025

Autores: Xianglong He, Junyi Chen, Di Huang, Zexiang Liu, Xiaoshui Huang, Wanli Ouyang, Chun Yuan, Yangguang Li

cs.AI

Resumo

No domínio da criação de conteúdo 3D, a obtenção de uma topologia de malha ideal por meio de modelos de IA tem sido uma busca constante para artistas 3D. Métodos anteriores, como o MeshGPT, exploraram a geração de objetos 3D prontos para uso por meio de técnicas autoregressivas de malha. Embora esses métodos produzam resultados visualmente impressionantes, sua dependência de previsões token por token no processo autoregressivo leva a várias limitações significativas. Estas incluem velocidades de geração extremamente lentas e um número incontável de faces da malha. Neste artigo, apresentamos o MeshCraft, uma nova estrutura para geração eficiente e controlável de malhas, que utiliza difusão espacial contínua para gerar faces triangulares discretas. Especificamente, o MeshCraft consiste em dois componentes principais: 1) um VAE baseado em transformer que codifica malhas brutas em tokens contínuos no nível das faces e as decodifica de volta às malhas originais, e 2) um transformer de difusão baseado em fluxo condicionado ao número de faces, permitindo a geração de malhas 3D de alta qualidade com um número predefinido de faces. Ao utilizar o modelo de difusão para a geração simultânea de toda a topologia da malha, o MeshCraft alcança uma geração de malhas de alta fidelidade em velocidades significativamente mais rápidas em comparação com métodos autoregressivos. Especificamente, o MeshCraft pode gerar uma malha com 800 faces em apenas 3,2 segundos (35 vezes mais rápido que as linhas de base existentes). Experimentos extensivos demonstram que o MeshCraft supera as técnicas mais avançadas em avaliações qualitativas e quantitativas no conjunto de dados ShapeNet e apresenta desempenho superior no conjunto de dados Objaverse. Além disso, ele se integra perfeitamente com estratégias de orientação condicional existentes, mostrando seu potencial para aliviar os artistas do trabalho manual demorado envolvido na criação de malhas.

English

In the domain of 3D content creation, achieving optimal mesh topology through AI models has long been a pursuit for 3D artists. Previous methods, such as MeshGPT, have explored the generation of ready-to-use 3D objects via mesh auto-regressive techniques. While these methods produce visually impressive results, their reliance on token-by-token predictions in the auto-regressive process leads to several significant limitations. These include extremely slow generation speeds and an uncontrollable number of mesh faces. In this paper, we introduce MeshCraft, a novel framework for efficient and controllable mesh generation, which leverages continuous spatial diffusion to generate discrete triangle faces. Specifically, MeshCraft consists of two core components: 1) a transformer-based VAE that encodes raw meshes into continuous face-level tokens and decodes them back to the original meshes, and 2) a flow-based diffusion transformer conditioned on the number of faces, enabling the generation of high-quality 3D meshes with a predefined number of faces. By utilizing the diffusion model for the simultaneous generation of the entire mesh topology, MeshCraft achieves high-fidelity mesh generation at significantly faster speeds compared to auto-regressive methods. Specifically, MeshCraft can generate an 800-face mesh in just 3.2 seconds (35times faster than existing baselines). Extensive experiments demonstrate that MeshCraft outperforms state-of-the-art techniques in both qualitative and quantitative evaluations on ShapeNet dataset and demonstrates superior performance on Objaverse dataset. Moreover, it integrates seamlessly with existing conditional guidance strategies, showcasing its potential to relieve artists from the time-consuming manual work involved in mesh creation.