Bruit de Matérn pour le Flow Matching indépendant de la triangulation sur les maillages

Résumé

Cet article aborde la tâche d'apprentissage de la génération de signaux sur des maillages triangulaires d'une manière indépendante de la triangulation, ce qui signifie que le modèle entraîné peut être appliqué efficacement à différents maillages et triangulations. En pratique, l'article adapte le paradigme du flow matching (FM) à un contexte basé sur des maillages et indépendant de la triangulation. Théoriquement, il propose une distribution de bruit spécifique, indépendante de la triangulation, à utiliser dans le processus de débruitage du modèle FM. Alors que les distributions de bruit sont généralement triviales à concevoir pour, par exemple, les images, concevoir une distribution indépendante de la triangulation s'avère être une tâche bien plus difficile. Nous formulons une définition mathématique de l'indépendance à la triangulation des distributions, via leur spectre. Nous montrons ensuite qu'une discrétisation d'un champ aléatoire gaussien spécifique appelé processus de Matérn possède ces propriétés souhaitées, et fournit un algorithme d'échantillonnage simple et efficace. Nous l'utilisons comme modèle de bruit, et adaptons FM au contexte indépendant de la triangulation en utilisant une approche de pointe pour l'apprentissage de signaux sur des maillages dans le domaine des gradients — PoissonNet — comme débruiteur. Nous menons des expériences sur des tâches élaborées telles que l'échantillonnage d'états de repos élastiques et la génération de poses d'humanoïdes. Notre méthode se révèle capable de produire des résultats très réalistes pour des maillages de plus d'un million de triangles, dépassant significativement l'état de l'art en termes de qualité et de diversité.

English

This paper tackles the task of learning to generate signals over triangle meshes in a triangulation-agnostic manner, meaning the trained model can be applied to different meshes and triangulations effectively. Practically, the paper adapts the flow matching (FM) paradigm to a mesh-based, triangulation-agnostic setting. Theoretically, it proposes a specific noise distribution which is triangulation agnostic, to be used inside the FM model's denoising process. While noise distributions are usually trivial to devise for, e.g., images, devising a triangulation-agnostic distribution proves to be a much more difficult task. We formulate a mathematical definition of triangulation agnosticism of distributions, via their spectrum. We then show that a discretization of a specific Gaussian random field called a Matérn process holds these desired properties, and provides a simple and efficient sampling algorithm. We use it as our noise model, and adapt FM to the triangulation-agnostic setting by using a state-of-the-art approach for learning signals on meshes in the gradient domain -- PoissonNet -- as the denoiser. We conduct experiments on elaborate tasks such as sampling elastic rest states, and generating poses of humanoids. Our method is shown to be capable of producing highly realistic results for meshes of over one million triangles, significantly exceeding the state-of-the-art in quality and diversity.