MeshCraft : Exploration de la génération de maillages efficaces et contrôlables avec des DiTs basés sur les flux

MeshCraft: Exploring Efficient and Controllable Mesh Generation with Flow-based DiTs

March 29, 2025

Auteurs: Xianglong He, Junyi Chen, Di Huang, Zexiang Liu, Xiaoshui Huang, Wanli Ouyang, Chun Yuan, Yangguang Li

cs.AI

Résumé

Dans le domaine de la création de contenu 3D, l'obtention d'une topologie de maillage optimale grâce à des modèles d'IA a longtemps été un objectif pour les artistes 3D. Les méthodes précédentes, telles que MeshGPT, ont exploré la génération d'objets 3D prêts à l'emploi via des techniques auto-régressives sur les maillages. Bien que ces méthodes produisent des résultats visuellement impressionnants, leur dépendance à des prédictions token par token dans le processus auto-régressif entraîne plusieurs limitations significatives. Celles-ci incluent des vitesses de génération extrêmement lentes et un nombre incontrôlable de faces de maillage. Dans cet article, nous présentons MeshCraft, un nouveau cadre pour la génération efficace et contrôlable de maillages, qui exploite la diffusion spatiale continue pour générer des faces triangulaires discrètes. Plus précisément, MeshCraft se compose de deux éléments clés : 1) un VAE basé sur un transformateur qui encode les maillages bruts en tokens continus au niveau des faces et les décode en maillages originaux, et 2) un transformateur de diffusion basé sur des flux conditionné par le nombre de faces, permettant la génération de maillages 3D de haute qualité avec un nombre prédéfini de faces. En utilisant le modèle de diffusion pour la génération simultanée de l'ensemble de la topologie du maillage, MeshCraft réalise une génération de maillages haute fidélité à des vitesses significativement plus rapides que les méthodes auto-régressives. Plus précisément, MeshCraft peut générer un maillage de 800 faces en seulement 3,2 secondes (35 fois plus rapide que les bases de référence existantes). Des expériences approfondies démontrent que MeshCraft surpasse les techniques de pointe dans les évaluations qualitatives et quantitatives sur le dataset ShapeNet et montre des performances supérieures sur le dataset Objaverse. De plus, il s'intègre parfaitement avec les stratégies de guidage conditionnel existantes, mettant en évidence son potentiel pour soulager les artistes du travail manuel chronophage impliqué dans la création de maillages.

English

In the domain of 3D content creation, achieving optimal mesh topology through AI models has long been a pursuit for 3D artists. Previous methods, such as MeshGPT, have explored the generation of ready-to-use 3D objects via mesh auto-regressive techniques. While these methods produce visually impressive results, their reliance on token-by-token predictions in the auto-regressive process leads to several significant limitations. These include extremely slow generation speeds and an uncontrollable number of mesh faces. In this paper, we introduce MeshCraft, a novel framework for efficient and controllable mesh generation, which leverages continuous spatial diffusion to generate discrete triangle faces. Specifically, MeshCraft consists of two core components: 1) a transformer-based VAE that encodes raw meshes into continuous face-level tokens and decodes them back to the original meshes, and 2) a flow-based diffusion transformer conditioned on the number of faces, enabling the generation of high-quality 3D meshes with a predefined number of faces. By utilizing the diffusion model for the simultaneous generation of the entire mesh topology, MeshCraft achieves high-fidelity mesh generation at significantly faster speeds compared to auto-regressive methods. Specifically, MeshCraft can generate an 800-face mesh in just 3.2 seconds (35times faster than existing baselines). Extensive experiments demonstrate that MeshCraft outperforms state-of-the-art techniques in both qualitative and quantitative evaluations on ShapeNet dataset and demonstrates superior performance on Objaverse dataset. Moreover, it integrates seamlessly with existing conditional guidance strategies, showcasing its potential to relieve artists from the time-consuming manual work involved in mesh creation.