MAtCha Gaussiennes : Atlas de graphiques pour une géométrie de haute qualité et un réalisme photographique à partir de vues éparses

MAtCha Gaussians: Atlas of Charts for High-Quality Geometry and Photorealism From Sparse Views

December 9, 2024

Auteurs: Antoine Guédon, Tomoki Ichikawa, Kohei Yamashita, Ko Nishino

cs.AI

Résumé

Nous présentons un nouveau modèle d'apparence qui réalise simultanément la récupération explicite de maillages de surface 3D de haute qualité et la synthèse photoréaliste de nouvelles vues à partir d'échantillons de vues clairsemées. Notre idée clé est de modéliser la géométrie de scène sous-jacente sous la forme d'un atlas de cartes que nous rendons avec des surfels gaussiens en 2D (MAtCha Gaussians). MAtCha extrait les détails de surface de haute fréquence de la scène à partir d'un estimateur de profondeur monoculaire standard et les affine grâce au rendu de surfels gaussiens. Les surfels gaussiens sont attachés aux cartes en temps réel, satisfaisant ainsi le réalisme photographique du rendu volumétrique neuronal et la géométrie nette d'un modèle de maillage, c'est-à-dire deux objectifs en apparence contradictoires dans un seul modèle. Au cœur de MAtCha se trouve un nouveau modèle de déformation neuronale et une perte de structure qui préserve les détails de surface fins extraits des profondeurs monoculaires apprises tout en traitant leurs ambiguïtés d'échelle fondamentales. Les résultats d'une validation expérimentale approfondie démontrent la qualité de pointe de la reconstruction de surface et du réalisme photographique de MAtCha, à la hauteur des meilleurs concurrents mais avec une réduction spectaculaire du nombre de vues d'entrée et du temps de calcul. Nous pensons que MAtCha servira d'outil fondamental pour toute application visuelle en vision, graphisme et robotique nécessitant une géométrie explicite en plus du réalisme photographique. Notre page de projet est la suivante : https://anttwo.github.io/matcha/

English

We present a novel appearance model that simultaneously realizes explicit high-quality 3D surface mesh recovery and photorealistic novel view synthesis from sparse view samples. Our key idea is to model the underlying scene geometry Mesh as an Atlas of Charts which we render with 2D Gaussian surfels (MAtCha Gaussians). MAtCha distills high-frequency scene surface details from an off-the-shelf monocular depth estimator and refines it through Gaussian surfel rendering. The Gaussian surfels are attached to the charts on the fly, satisfying photorealism of neural volumetric rendering and crisp geometry of a mesh model, i.e., two seemingly contradicting goals in a single model. At the core of MAtCha lies a novel neural deformation model and a structure loss that preserve the fine surface details distilled from learned monocular depths while addressing their fundamental scale ambiguities. Results of extensive experimental validation demonstrate MAtCha's state-of-the-art quality of surface reconstruction and photorealism on-par with top contenders but with dramatic reduction in the number of input views and computational time. We believe MAtCha will serve as a foundational tool for any visual application in vision, graphics, and robotics that require explicit geometry in addition to photorealism. Our project page is the following: https://anttwo.github.io/matcha/