MeshCraft: Исследование эффективного и управляемого генерации сеток с помощью потоковых диффузионных трансформеров

MeshCraft: Exploring Efficient and Controllable Mesh Generation with Flow-based DiTs

March 29, 2025

Авторы: Xianglong He, Junyi Chen, Di Huang, Zexiang Liu, Xiaoshui Huang, Wanli Ouyang, Chun Yuan, Yangguang Li

cs.AI

Аннотация

В области создания 3D-контента достижение оптимальной топологии сетки с помощью моделей ИИ долгое время оставалось целью для 3D-художников. Предыдущие методы, такие как MeshGPT, исследовали генерацию готовых к использованию 3D-объектов с использованием авторегрессивных техник работы с сетками. Хотя эти методы дают визуально впечатляющие результаты, их зависимость от пошаговых предсказаний в авторегрессивном процессе приводит к нескольким существенным ограничениям. К ним относятся крайне низкая скорость генерации и неконтролируемое количество граней сетки. В данной статье мы представляем MeshCraft — новый фреймворк для эффективной и контролируемой генерации сеток, который использует непрерывное пространственное диффузионное моделирование для создания дискретных треугольных граней. В частности, MeshCraft состоит из двух ключевых компонентов: 1) трансформерного VAE, который кодирует исходные сетки в непрерывные токены на уровне граней и декодирует их обратно в исходные сетки, и 2) диффузионного трансформера на основе потоков, учитывающего количество граней, что позволяет генерировать высококачественные 3D-сетки с заранее заданным числом граней. Благодаря использованию диффузионной модели для одновременной генерации всей топологии сетки, MeshCraft достигает генерации сеток с высокой точностью и значительно быстрее по сравнению с авторегрессивными методами. В частности, MeshCraft может сгенерировать сетку из 800 граней всего за 3,2 секунды (в 35 раз быстрее существующих базовых методов). Многочисленные эксперименты показывают, что MeshCraft превосходит современные методы как в качественных, так и в количественных оценках на наборе данных ShapeNet и демонстрирует превосходную производительность на наборе данных Objaverse. Кроме того, он легко интегрируется с существующими стратегиями условного управления, демонстрируя свой потенциал для освобождения художников от трудоемкой ручной работы, связанной с созданием сеток.

English

In the domain of 3D content creation, achieving optimal mesh topology through AI models has long been a pursuit for 3D artists. Previous methods, such as MeshGPT, have explored the generation of ready-to-use 3D objects via mesh auto-regressive techniques. While these methods produce visually impressive results, their reliance on token-by-token predictions in the auto-regressive process leads to several significant limitations. These include extremely slow generation speeds and an uncontrollable number of mesh faces. In this paper, we introduce MeshCraft, a novel framework for efficient and controllable mesh generation, which leverages continuous spatial diffusion to generate discrete triangle faces. Specifically, MeshCraft consists of two core components: 1) a transformer-based VAE that encodes raw meshes into continuous face-level tokens and decodes them back to the original meshes, and 2) a flow-based diffusion transformer conditioned on the number of faces, enabling the generation of high-quality 3D meshes with a predefined number of faces. By utilizing the diffusion model for the simultaneous generation of the entire mesh topology, MeshCraft achieves high-fidelity mesh generation at significantly faster speeds compared to auto-regressive methods. Specifically, MeshCraft can generate an 800-face mesh in just 3.2 seconds (35times faster than existing baselines). Extensive experiments demonstrate that MeshCraft outperforms state-of-the-art techniques in both qualitative and quantitative evaluations on ShapeNet dataset and demonstrates superior performance on Objaverse dataset. Moreover, it integrates seamlessly with existing conditional guidance strategies, showcasing its potential to relieve artists from the time-consuming manual work involved in mesh creation.