MAtCha Gaussians: Atlas van Grafieken voor Hoogwaardige Meetkunde en Fotorealisme vanuit Schaarse Weergaven
MAtCha Gaussians: Atlas of Charts for High-Quality Geometry and Photorealism From Sparse Views
December 9, 2024
Auteurs: Antoine Guédon, Tomoki Ichikawa, Kohei Yamashita, Ko Nishino
cs.AI
Samenvatting
We presenteren een nieuw verschijningsmodel dat tegelijkertijd expliciete hoogwaardige 3D oppervlaktemesh reconstructie en fotorealistische synthese van nieuwe weergaven realiseert vanuit schaarse weergavemonsters. Ons belangrijkste idee is om de onderliggende scènegeometrie Mesh te modelleren als een Atlas van Kaarten die we renderen met 2D Gaussische surfels (MAtCha Gaussians). MAtCha destilleert hoogfrequente scène oppervlaktedetails uit een kant-en-klare monoculair diepteschatting en verfijnt dit door middel van Gaussische surfelrendering. De Gaussische surfels worden dynamisch aan de kaarten gekoppeld, waarbij wordt voldaan aan fotorealisme van neurale volumetrische rendering en scherpe geometrie van een meshmodel, oftewel twee ogenschijnlijk tegenstrijdige doelen in één model. In de kern van MAtCha ligt een nieuw neuronaal vervormingsmodel en een structuurverlies dat de fijne oppervlaktedetails behouden die zijn gedestilleerd uit geleerde monoculaire dieptes, terwijl hun fundamentele schaalambiguïteiten worden aangepakt. Resultaten van uitgebreide experimentele validatie tonen de state-of-the-art kwaliteit van oppervlakte reconstructie en fotorealisme van MAtCha aan, vergelijkbaar met topconcurrenten maar met een drastische vermindering van het aantal invoerweergaven en de benodigde rekentijd. We geloven dat MAtCha zal dienen als een fundamenteel instrument voor elke visuele toepassing in visie, grafische vormgeving en robotica die expliciete geometrie vereisen naast fotorealisme. Onze projectpagina is de volgende: https://anttwo.github.io/matcha/
English
We present a novel appearance model that simultaneously realizes explicit
high-quality 3D surface mesh recovery and photorealistic novel view synthesis
from sparse view samples. Our key idea is to model the underlying scene
geometry Mesh as an Atlas of Charts which we render with 2D Gaussian surfels
(MAtCha Gaussians). MAtCha distills high-frequency scene surface details from
an off-the-shelf monocular depth estimator and refines it through Gaussian
surfel rendering. The Gaussian surfels are attached to the charts on the fly,
satisfying photorealism of neural volumetric rendering and crisp geometry of a
mesh model, i.e., two seemingly contradicting goals in a single model. At the
core of MAtCha lies a novel neural deformation model and a structure loss that
preserve the fine surface details distilled from learned monocular depths while
addressing their fundamental scale ambiguities. Results of extensive
experimental validation demonstrate MAtCha's state-of-the-art quality of
surface reconstruction and photorealism on-par with top contenders but with
dramatic reduction in the number of input views and computational time. We
believe MAtCha will serve as a foundational tool for any visual application in
vision, graphics, and robotics that require explicit geometry in addition to
photorealism. Our project page is the following:
https://anttwo.github.io/matcha/