Matérn-ruis voor triangulatie-agnostische flow matching op meshes

Samenvatting

Dit artikel behandelt de taak om signalen over driehoekige meshes te genereren op een triangulatie-agnostische manier, wat betekent dat het getrainde model effectief kan worden toegepast op verschillende meshes en triangulaties. In de praktijk wordt het flow matching (FM)-paradigma aangepast aan een op meshes gebaseerde, triangulatie-agnostische setting. Theoretisch wordt een specifieke ruisverdeling voorgesteld die triangulatie-agnostisch is, om te worden gebruikt in het ontruisproces van het FM-model. Terwijl ruisverdelingen doorgaans triviaal te ontwerpen zijn voor bijvoorbeeld afbeeldingen, blijkt het ontwerpen van een triangulatie-agnostische verdeling een veel moeilijkere taak. We formuleren een wiskundige definitie van triangulatie-agnosticisme van verdelingen via hun spectrum. Vervolgens tonen we aan dat een discretisatie van een specifiek Gaussisch willekeurig veld, een zogenaamd Matérn-proces, deze gewenste eigenschappen bezit en een eenvoudig en efficiënt samplingalgoritme biedt. We gebruiken dit als ons ruismodel en passen FM aan de triangulatie-agnostische setting aan door een state-of-the-art benadering voor het leren van signalen op meshes in het gradiëntdomein — PoissonNet — te gebruiken als ontruiser. We voeren experimenten uit op uitgebreide taken zoals het samplen van elastische rusttoestanden en het genereren van houdingen van humanoïden. Onze methode blijkt in staat zeer realistische resultaten te produceren voor meshes van meer dan een miljoen driehoeken, waarmee de state-of-the-art in kwaliteit en diversiteit aanzienlijk wordt overtroffen.

English

This paper tackles the task of learning to generate signals over triangle meshes in a triangulation-agnostic manner, meaning the trained model can be applied to different meshes and triangulations effectively. Practically, the paper adapts the flow matching (FM) paradigm to a mesh-based, triangulation-agnostic setting. Theoretically, it proposes a specific noise distribution which is triangulation agnostic, to be used inside the FM model's denoising process. While noise distributions are usually trivial to devise for, e.g., images, devising a triangulation-agnostic distribution proves to be a much more difficult task. We formulate a mathematical definition of triangulation agnosticism of distributions, via their spectrum. We then show that a discretization of a specific Gaussian random field called a Matérn process holds these desired properties, and provides a simple and efficient sampling algorithm. We use it as our noise model, and adapt FM to the triangulation-agnostic setting by using a state-of-the-art approach for learning signals on meshes in the gradient domain -- PoissonNet -- as the denoiser. We conduct experiments on elaborate tasks such as sampling elastic rest states, and generating poses of humanoids. Our method is shown to be capable of producing highly realistic results for meshes of over one million triangles, significantly exceeding the state-of-the-art in quality and diversity.