MeshFlow : Génération de maillages avec appariement de flux équivariant

Résumé

Les maillages comptent parmi les représentations de scènes 3D les plus courantes, mais leur génération directe reste difficile car la représentation comporte des symétries importantes, notamment l'invariance par permutation des faces et des sommets. MeshFlow apprend à générer directement des maillages triangulaires sous forme de soupes de triangles, évitant ainsi la nécessité de sérialiser les maillages en longues séquences autorégressives. Nous adoptons des modèles d'appariement de flux par transport optimal équivariants qui respectent les symétries clés des soupes de triangles : permutations arbitraires des faces et permutations des sommets au sein de chaque face. À cette fin, nous proposons une modification simple mais efficace de l'architecture du Transformer de diffusion, aboutissant à un réseau scalable capable de modéliser un champ de vélocité tout en maintenant l'équivariance souhaitée. Nous introduisons également un objectif d'entraînement basé sur le transport optimal qui améliore la convergence en éliminant les signaux de supervision qui violent ces symétries. MeshFlow atteint une qualité de maillage comparable aux meilleurs générateurs de maillages autorégressifs tout en offrant une accélération d'environ 18 fois lors de l'inférence. La page du projet se trouve à l'adresse https://qiisun.github.io/MeshFlow/.

English

Meshes are among the most common 3D scene representations, but directly generating meshes is challenging because the representation contains important symmetries, including permutation invariance of faces and vertices. MeshFlow learns to generate triangle meshes directly as triangle soups, avoiding the need to serialize meshes into long autoregressive sequences. We adopt equivariant optimal-transport flow matching models that respect the key symmetries of triangle soups: arbitrary permutations of faces and permutations of the vertices within each face. Toward this goal, we propose a simple yet effective modification to the Diffusion Transformer architecture, resulting in a scalable network capable of modeling a velocity field while maintaining the desired equivariance. We further introduce an optimal-transport-based training objective that improves convergence by eliminating supervision signals that violate these symmetries. MeshFlow achieves mesh quality comparable to state-of-the-art autoregressive mesh generators while providing about an 18times speedup during inference. Project page is at https://qiisun.github.io/MeshFlow/.