MeshFlow: Meshgeneratie met Equivariante Flow Matching

Samenvatting

Meshes behoren tot de meest voorkomende 3D-scenerepresentaties, maar het direct genereren van meshes is uitdagend omdat de representatie belangrijke symmetrieën bevat, waaronder permutatie-invariantie van vlakken en hoekpunten. MeshFlow leert om driehoeksmazen rechtstreeks als triangle soups te genereren, waardoor de noodzaak om meshes te serialiseren in lange autoregressieve reeksen wordt vermeden. We gebruiken equivariante optimal-transport flow matching modellen die de belangrijkste symmetrieën van triangle soups respecteren: willekeurige permutaties van vlakken en permutaties van de hoekpunten binnen elk vlak. Met dit doel voor ogen stellen we een eenvoudige maar effectieve wijziging voor aan de Diffusion Transformer-architectuur, wat resulteert in een schaalbaar netwerk dat in staat is een snelheidsveld te modelleren terwijl de gewenste equivariantie behouden blijft. We introduceren verder een op optimal-transport gebaseerde trainingsdoelstelling die de convergentie verbetert door supervisiesignalen te elimineren die deze symmetrieën schenden. MeshFlow bereikt een maaskwaliteit die vergelijkbaar is met state-of-the-art autoregressieve meshgeneratoren, terwijl het een ongeveer 18-voudige versnelling biedt tijdens inferentie. De projectpagina is te vinden op https://qiisun.github.io/MeshFlow/.

English

Meshes are among the most common 3D scene representations, but directly generating meshes is challenging because the representation contains important symmetries, including permutation invariance of faces and vertices. MeshFlow learns to generate triangle meshes directly as triangle soups, avoiding the need to serialize meshes into long autoregressive sequences. We adopt equivariant optimal-transport flow matching models that respect the key symmetries of triangle soups: arbitrary permutations of faces and permutations of the vertices within each face. Toward this goal, we propose a simple yet effective modification to the Diffusion Transformer architecture, resulting in a scalable network capable of modeling a velocity field while maintaining the desired equivariance. We further introduce an optimal-transport-based training objective that improves convergence by eliminating supervision signals that violate these symmetries. MeshFlow achieves mesh quality comparable to state-of-the-art autoregressive mesh generators while providing about an 18times speedup during inference. Project page is at https://qiisun.github.io/MeshFlow/.