MeshFlow: Meshgenerierung mit äquivariantem Flow Matching

Zusammenfassung

Netze gehören zu den häufigsten 3D-Szenendarstellungen, aber die direkte Generierung von Netzen ist herausfordernd, da die Darstellung wichtige Symmetrien aufweist, darunter die Permutationsinvarianz von Flächen und Eckpunkten. MeshFlow lernt, Dreiecksnetze direkt als Dreieckssuppen zu erzeugen, wodurch die Notwendigkeit entfällt, Netze in lange autoregressive Sequenzen zu serialisieren. Wir verwenden äquivariante Modelle des optimalen Transports-Flussabgleichs, die die wesentlichen Symmetrien von Dreieckssuppen respektieren: beliebige Permutationen von Flächen sowie Permutationen der Eckpunkte innerhalb jeder Fläche. Zu diesem Zweck schlagen wir eine einfache, aber effektive Modifikation der Diffusionstransformator-Architektur vor, was zu einem skalierbaren Netzwerk führt, das in der Lage ist, ein Geschwindigkeitsfeld zu modellieren und gleichzeitig die gewünschte Äquivarianz zu wahren. Wir führen zudem ein auf optimalem Transport basierendes Trainingsziel ein, das die Konvergenz verbessert, indem es Aufsichtssignale eliminiert, die diese Symmetrien verletzen. MeshFlow erreicht eine mit den modernsten autoregressiven Netzgeneratoren vergleichbare Netzqualität und bietet dabei eine etwa 18-fache Beschleunigung während der Inferenz. Die Projektseite befindet sich unter https://qiisun.github.io/MeshFlow/.

English

Meshes are among the most common 3D scene representations, but directly generating meshes is challenging because the representation contains important symmetries, including permutation invariance of faces and vertices. MeshFlow learns to generate triangle meshes directly as triangle soups, avoiding the need to serialize meshes into long autoregressive sequences. We adopt equivariant optimal-transport flow matching models that respect the key symmetries of triangle soups: arbitrary permutations of faces and permutations of the vertices within each face. Toward this goal, we propose a simple yet effective modification to the Diffusion Transformer architecture, resulting in a scalable network capable of modeling a velocity field while maintaining the desired equivariance. We further introduce an optimal-transport-based training objective that improves convergence by eliminating supervision signals that violate these symmetries. MeshFlow achieves mesh quality comparable to state-of-the-art autoregressive mesh generators while providing about an 18times speedup during inference. Project page is at https://qiisun.github.io/MeshFlow/.