메시 상의 삼각분할 비의존적 플로우 매칭을 위한 마테른 노이즈

초록

본 논문은 삼각형 메쉬 위에서 신호를 생성하는 작업을 삼각분할 비의존적(triangulation-agnostic) 방식으로 학습하는 것을 다룬다. 즉, 학습된 모델이 다양한 메쉬와 삼각분할에 효과적으로 적용될 수 있다. 실제로 이 논문은 플로우 매칭(flow matching, FM) 패러다임을 메쉬 기반의 삼각분할 비의존적 환경에 맞게 조정한다. 이론적으로는 FM 모델의 잡음 제거 과정에 사용될 삼각분할 비의존적 특정 잡음 분포를 제안한다. 일반적으로 이미지 등에서는 잡음 분포를 설계하는 것이 매우 간단하지만, 삼각분할 비의존적 분포를 설계하는 것은 훨씬 더 어려운 과제임이 입증된다. 우리는 스펙트럼을 통해 분포의 삼각분할 비의존성에 대한 수학적 정의를 정식화한다. 그런 다음 마테른 과정(Matérn process)이라 불리는 특정 가우시안 랜덤 필드의 이산화가 이러한 바람직한 특성을 가지며, 간단하고 효율적인 샘플링 알고리즘을 제공한다는 것을 보여준다. 이를 우리의 잡음 모델로 사용하고, 잡음 제거기로서 그래디언트 영역에서 메쉬 상의 신호를 학습하는 최신 접근법인 PoissonNet을 사용하여 FM을 삼각분할 비의존적 환경에 적용한다. 탄성 정지 상태 샘플링 및 휴머노이드 포즈 생성과 같은 정교한 작업에 대해 실험을 수행한다. 우리의 방법은 백만 개 이상의 삼각형으로 구성된 메쉬에 대해 매우 사실적인 결과를 생성할 수 있으며, 품질과 다양성에서 최신 기술을 크게 능가함을 보여준다.

English

This paper tackles the task of learning to generate signals over triangle meshes in a triangulation-agnostic manner, meaning the trained model can be applied to different meshes and triangulations effectively. Practically, the paper adapts the flow matching (FM) paradigm to a mesh-based, triangulation-agnostic setting. Theoretically, it proposes a specific noise distribution which is triangulation agnostic, to be used inside the FM model's denoising process. While noise distributions are usually trivial to devise for, e.g., images, devising a triangulation-agnostic distribution proves to be a much more difficult task. We formulate a mathematical definition of triangulation agnosticism of distributions, via their spectrum. We then show that a discretization of a specific Gaussian random field called a Matérn process holds these desired properties, and provides a simple and efficient sampling algorithm. We use it as our noise model, and adapt FM to the triangulation-agnostic setting by using a state-of-the-art approach for learning signals on meshes in the gradient domain -- PoissonNet -- as the denoiser. We conduct experiments on elaborate tasks such as sampling elastic rest states, and generating poses of humanoids. Our method is shown to be capable of producing highly realistic results for meshes of over one million triangles, significantly exceeding the state-of-the-art in quality and diversity.