MeshCraft: Erforschung effizienter und kontrollierbarer Mesh-Generierung mit Flow-basierten DiTs

MeshCraft: Exploring Efficient and Controllable Mesh Generation with Flow-based DiTs

March 29, 2025

Autoren: Xianglong He, Junyi Chen, Di Huang, Zexiang Liu, Xiaoshui Huang, Wanli Ouyang, Chun Yuan, Yangguang Li

cs.AI

Zusammenfassung

Im Bereich der 3D-Inhaltserstellung war die Erzielung einer optimalen Mesh-Topologie durch KI-Modelle schon lange ein Ziel für 3D-Künstler. Bisherige Methoden wie MeshGPT haben die Erzeugung von direkt verwendbaren 3D-Objekten durch Mesh-Autoregressionstechniken untersucht. Obwohl diese Methoden visuell beeindruckende Ergebnisse liefern, führt ihre Abhängigkeit von Token-für-Token-Vorhersagen im autoregressiven Prozess zu mehreren erheblichen Einschränkungen. Dazu gehören extrem langsame Generierungsgeschwindigkeiten und eine unkontrollierbare Anzahl von Mesh-Flächen. In diesem Artikel stellen wir MeshCraft vor, ein neuartiges Framework für effiziente und kontrollierbare Mesh-Generierung, das kontinuierliche räumliche Diffusion nutzt, um diskrete Dreiecksflächen zu erzeugen. Konkret besteht MeshCraft aus zwei Kernkomponenten: 1) einem Transformer-basierten VAE, der Rohmeshes in kontinuierliche Flächen-Token kodiert und sie wieder in die ursprünglichen Meshes dekodiert, und 2) einem Flow-basierten Diffusionstransformer, der auf die Anzahl der Flächen konditioniert ist und die Erzeugung hochwertiger 3D-Meshes mit einer vordefinierten Anzahl von Flächen ermöglicht. Durch die Nutzung des Diffusionsmodells für die gleichzeitige Generierung der gesamten Mesh-Topologie erreicht MeshCraft eine hochpräzise Mesh-Generierung bei deutlich schnelleren Geschwindigkeiten im Vergleich zu autoregressiven Methoden. Insbesondere kann MeshCraft ein Mesh mit 800 Flächen in nur 3,2 Sekunden erzeugen (35-mal schneller als bestehende Baselines). Umfangreiche Experimente zeigen, dass MeshCraft sowohl in qualitativen als auch quantitativen Bewertungen auf dem ShapeNet-Datensatz state-of-the-art-Techniken übertrifft und auf dem Objaverse-Datensatz überlegene Leistung demonstriert. Darüber hinaus integriert es sich nahtlos in bestehende konditionale Leitstrategien und zeigt sein Potenzial, Künstler von der zeitaufwändigen manuellen Arbeit bei der Mesh-Erstellung zu entlasten.

English

In the domain of 3D content creation, achieving optimal mesh topology through AI models has long been a pursuit for 3D artists. Previous methods, such as MeshGPT, have explored the generation of ready-to-use 3D objects via mesh auto-regressive techniques. While these methods produce visually impressive results, their reliance on token-by-token predictions in the auto-regressive process leads to several significant limitations. These include extremely slow generation speeds and an uncontrollable number of mesh faces. In this paper, we introduce MeshCraft, a novel framework for efficient and controllable mesh generation, which leverages continuous spatial diffusion to generate discrete triangle faces. Specifically, MeshCraft consists of two core components: 1) a transformer-based VAE that encodes raw meshes into continuous face-level tokens and decodes them back to the original meshes, and 2) a flow-based diffusion transformer conditioned on the number of faces, enabling the generation of high-quality 3D meshes with a predefined number of faces. By utilizing the diffusion model for the simultaneous generation of the entire mesh topology, MeshCraft achieves high-fidelity mesh generation at significantly faster speeds compared to auto-regressive methods. Specifically, MeshCraft can generate an 800-face mesh in just 3.2 seconds (35times faster than existing baselines). Extensive experiments demonstrate that MeshCraft outperforms state-of-the-art techniques in both qualitative and quantitative evaluations on ShapeNet dataset and demonstrates superior performance on Objaverse dataset. Moreover, it integrates seamlessly with existing conditional guidance strategies, showcasing its potential to relieve artists from the time-consuming manual work involved in mesh creation.