Ruído de Matérn para Correspondência de Fluxo Agnóstico à Triangulação em Malhas

Resumo

Este artigo aborda a tarefa de aprender a gerar sinais sobre malhas triangulares de forma agnóstica à triangulação, ou seja, o modelo treinado pode ser aplicado efetivamente a diferentes malhas e triangulações. Na prática, o artigo adapta o paradigma de *flow matching* (FM) a um contexto baseado em malhas e agnóstico à triangulação. Teoricamente, propõe uma distribuição de ruído específica, que é agnóstica à triangulação, para ser utilizada no processo de denoising do modelo FM. Embora distribuições de ruído sejam geralmente triviais de conceber para, por exemplo, imagens, conceber uma distribuição agnóstica à triangulação mostra-se uma tarefa muito mais difícil. Formulamos uma definição matemática de agnosticismo à triangulação de distribuições, através de seu espectro. Em seguida, mostramos que uma discretização de um campo aleatório Gaussiano específico, chamado processo de Matérn, possui essas propriedades desejadas e fornece um algoritmo de amostragem simples e eficiente. Utilizamo-lo como nosso modelo de ruído e adaptamos o FM ao contexto agnóstico à triangulação usando uma abordagem de ponta para aprender sinais em malhas no domínio do gradiente — PoissonNet — como o denoiser. Realizamos experimentos em tarefas elaboradas, como amostragem de estados de repouso elástico e geração de poses de humanoides. Nosso método mostra-se capaz de produzir resultados altamente realistas para malhas com mais de um milhão de triângulos, superando significativamente o estado da arte em qualidade e diversidade.

English

This paper tackles the task of learning to generate signals over triangle meshes in a triangulation-agnostic manner, meaning the trained model can be applied to different meshes and triangulations effectively. Practically, the paper adapts the flow matching (FM) paradigm to a mesh-based, triangulation-agnostic setting. Theoretically, it proposes a specific noise distribution which is triangulation agnostic, to be used inside the FM model's denoising process. While noise distributions are usually trivial to devise for, e.g., images, devising a triangulation-agnostic distribution proves to be a much more difficult task. We formulate a mathematical definition of triangulation agnosticism of distributions, via their spectrum. We then show that a discretization of a specific Gaussian random field called a Matérn process holds these desired properties, and provides a simple and efficient sampling algorithm. We use it as our noise model, and adapt FM to the triangulation-agnostic setting by using a state-of-the-art approach for learning signals on meshes in the gradient domain -- PoissonNet -- as the denoiser. We conduct experiments on elaborate tasks such as sampling elastic rest states, and generating poses of humanoids. Our method is shown to be capable of producing highly realistic results for meshes of over one million triangles, significantly exceeding the state-of-the-art in quality and diversity.