Matérn-Rauschen für triangulierungsunabhängiges Flow Matching auf Netzen

Zusammenfassung

Diese Arbeit befasst sich mit der Aufgabe, Signale auf Dreiecksnetzen auf triangulierungsunabhängige Weise zu erzeugen – das bedeutet, dass das trainierte Modell effektiv auf verschiedene Netze und Triangulierungen angewendet werden kann. Praktisch gesehen wird das Paradigma des Flussabgleichs (FM) an eine netzbasierte, triangulierungsunabhängige Umgebung angepasst. Theoretisch wird eine spezifische Rauschverteilung vorgeschlagen, die triangulierungsunabhängig ist und im Entrauschungsprozess des FM-Modells verwendet wird. Während Rauschverteilungen für beispielsweise Bilder meist trivial zu entwickeln sind, erweist sich die Entwicklung einer triangulierungsunabhängigen Verteilung als wesentlich schwieriger. Wir formulieren eine mathematische Definition der Triangulierungsunabhängigkeit von Verteilungen über ihr Spektrum. Anschließend zeigen wir, dass eine Diskretisierung eines bestimmten Gaußschen Zufallsfeldes, des sogenannten Matérn-Prozesses, diese gewünschten Eigenschaften besitzt und einen einfachen und effizienten Sampling-Algorithmus liefert. Wir verwenden dies als unser Rauschmodell und passen FM an die triangulierungsunabhängige Umgebung an, indem wir einen hochmodernen Ansatz zur Erlernung von Signalen auf Netzen im Gradientenbereich – PoissonNet – als Entrauscher einsetzen. Wir führen Experimente zu anspruchsvollen Aufgaben durch, wie dem Sampling elastischer Ruhezustände und der Erzeugung von Posen humanoiden Figuren. Unsere Methode erzeugt nachweislich hochrealistische Ergebnisse für Netze mit über einer Million Dreiecken und übertrifft den Stand der Technik in Qualität und Diversität erheblich.

English

This paper tackles the task of learning to generate signals over triangle meshes in a triangulation-agnostic manner, meaning the trained model can be applied to different meshes and triangulations effectively. Practically, the paper adapts the flow matching (FM) paradigm to a mesh-based, triangulation-agnostic setting. Theoretically, it proposes a specific noise distribution which is triangulation agnostic, to be used inside the FM model's denoising process. While noise distributions are usually trivial to devise for, e.g., images, devising a triangulation-agnostic distribution proves to be a much more difficult task. We formulate a mathematical definition of triangulation agnosticism of distributions, via their spectrum. We then show that a discretization of a specific Gaussian random field called a Matérn process holds these desired properties, and provides a simple and efficient sampling algorithm. We use it as our noise model, and adapt FM to the triangulation-agnostic setting by using a state-of-the-art approach for learning signals on meshes in the gradient domain -- PoissonNet -- as the denoiser. We conduct experiments on elaborate tasks such as sampling elastic rest states, and generating poses of humanoids. Our method is shown to be capable of producing highly realistic results for meshes of over one million triangles, significantly exceeding the state-of-the-art in quality and diversity.