MeshFlow: Geração de Malhas com Correspondência de Fluxo Equivariante

Resumo

Malhas estão entre as representações de cenas 3D mais comuns, mas gerar malhas diretamente é desafiador porque a representação contém simetrias importantes, incluindo invariância a permutações de faces e vértices. MeshFlow aprende a gerar malhas triangulares diretamente como sopas de triângulos, evitando a necessidade de serializar malhas em longas sequências autorregressivas. Adotamos modelos de correspondência de fluxo com transporte ótimo equivariantes que respeitam as simetrias-chave das sopas de triângulos: permutações arbitrárias de faces e permutações dos vértices dentro de cada face. Para esse objetivo, propomos uma modificação simples, porém eficaz, na arquitetura do Transformador de Difusão, resultando em uma rede escalável capaz de modelar um campo de velocidade enquanto mantém a equivariância desejada. Introduzimos ainda um objetivo de treinamento baseado em transporte ótimo que melhora a convergência ao eliminar sinais de supervisão que violam essas simetrias. MeshFlow atinge qualidade de malha comparável aos geradores de malha autorregressivos de última geração, ao mesmo tempo que proporciona uma aceleração de cerca de 18 vezes durante a inferência. A página do projeto está em https://qiisun.github.io/MeshFlow/.

English

Meshes are among the most common 3D scene representations, but directly generating meshes is challenging because the representation contains important symmetries, including permutation invariance of faces and vertices. MeshFlow learns to generate triangle meshes directly as triangle soups, avoiding the need to serialize meshes into long autoregressive sequences. We adopt equivariant optimal-transport flow matching models that respect the key symmetries of triangle soups: arbitrary permutations of faces and permutations of the vertices within each face. Toward this goal, we propose a simple yet effective modification to the Diffusion Transformer architecture, resulting in a scalable network capable of modeling a velocity field while maintaining the desired equivariance. We further introduce an optimal-transport-based training objective that improves convergence by eliminating supervision signals that violate these symmetries. MeshFlow achieves mesh quality comparable to state-of-the-art autoregressive mesh generators while providing about an 18times speedup during inference. Project page is at https://qiisun.github.io/MeshFlow/.