MeshWeaver : Tissage de surface guidé par voxels parcimonieux pour la génération autorégressive de maillages

Résumé

La génération autorégressive de maillages a suscité l'intérêt en transformant les maillages en séquences de tokens et en entraînant des modèles selon une approche de modélisation du langage. Cependant, les méthodes existantes souffrent de deux limitations fondamentales : (i) une faible efficacité de tokenization, qui produit de longues séquences de tokens et empêche le passage à l'échelle des maillages à haute résolution polygonale, et (ii) une absence de guidage géométrique, la génération étant conditionnée uniquement par des plongements globaux de forme plutôt que par des indices locaux de surface. Nous présentons MeshWeaver, un cadre autorégressif qui traite la génération de maillage comme un processus de tissage de surface en prédisant directement le sommet suivant plutôt que des coordonnées indépendantes. Son cœur est un encodeur multi-niveaux à voxels creux qui injecte un contexte géométrique dans le processus génératif de trois manières complémentaires : en fournissant des caractéristiques de voxels comme représentations des sommets, en guidant la prédiction des tokens via une attention croisée aux caractéristiques des voxels, et en servant d'échafaudage structurel qui contraint la génération autour de la surface d'entrée. Notre conception hiérarchique permet une prédiction de sommets du grossier au fin en une seule étape de décodage, tout en couplant étroitement le modèle génératif avec la géométrie 3D. Des expériences approfondies montrent que MeshWeaver atteint un taux de compression de 18 %, ce qui constitue un état de l'art, peut générer des maillages comportant jusqu'à 16 000 faces, et améliore significativement la fidélité géométrique par rapport aux approches antérieures.

English

Autoregressive mesh generation has gained attention by tokenizing meshes into sequences and training models in a language-modeling fashion. However, existing approaches suffer from two fundamental limitations: (i) low tokenization efficiency, which yields long token sequences and prevents scaling to high-poly meshes, and (ii) absence of geometry-aware guidance, as generation is conditioned only on global shape embeddings rather than local surface cues. We introduce MeshWeaver, an autoregressive framework that treats mesh generation as a surface weaving process by directly predicting the next vertex instead of independent coordinates. At its core is a multi-level sparse-voxel encoder that injects geometric context into the generative process in three complementary ways: providing voxel features as vertex representations, guiding token prediction via cross-attention to voxel features, and serving as a structural scaffold that constrains generation around the input surface. Our hierarchical design enables coarse-to-fine vertex prediction in a single decoding step, while tightly coupling the generative model with 3D geometry. Extensive experiments demonstrate that MeshWeaver achieves a state-of-the-art compression ratio of 18%, can generate meshes with up to 16K faces, and significantly improves geometric fidelity over prior approaches.