MAtCha-Gaußsche: Atlas von Diagrammen für hochwertige Geometrie und fotorealistische Darstellungen aus wenigen Ansichten

MAtCha Gaussians: Atlas of Charts for High-Quality Geometry and Photorealism From Sparse Views

December 9, 2024

Autoren: Antoine Guédon, Tomoki Ichikawa, Kohei Yamashita, Ko Nishino

cs.AI

Zusammenfassung

Wir präsentieren ein neuartiges Erscheinungsmodell, das gleichzeitig die explizite hochwertige 3D-Oberflächenmaschenwiederherstellung und fotorealistische Synthese neuer Ansichten aus spärlichen Ansichtsproben realisiert. Unsere Schlüsselidee besteht darin, die zugrunde liegende Szenengeometrie Mesh als Atlas von Karten zu modellieren, die wir mit 2D-Gaußschen Surfel (MAtCha-Gaußschen) rendern. MAtCha destilliert hochfrequente Oberflächendetails der Szene aus einem handelsüblichen monokularen Tiefenschätzer und verfeinert sie durch Gaußsches Surfel-Rendering. Die Gaußschen Surfels werden dynamisch den Karten zugeordnet, um den Fotorealismus des neuronalen volumetrischen Renderings und die klare Geometrie eines Maschenmodells zu erfüllen, d. h. zwei scheinbar widersprüchliche Ziele in einem einzigen Modell. Im Kern von MAtCha liegt ein neuartiges neuronales Deformationsmodell und ein Strukturverlust, der die feinen Oberflächendetails bewahrt, die aus gelernten monokularen Tiefen destilliert wurden, während ihre grundlegenden Skalenambiguitäten angegangen werden. Die Ergebnisse umfangreicher experimenteller Validierung zeigen die hochmoderne Qualität der Oberflächenrekonstruktion und des Fotorealismus von MAtCha auf Augenhöhe mit den besten Konkurrenten, jedoch mit dramatischer Reduzierung der Anzahl von Eingangsansichten und der Rechenzeit. Wir sind der Ansicht, dass MAtCha als grundlegendes Werkzeug für jede visuelle Anwendung in den Bereichen Vision, Grafik und Robotik dienen wird, die explizite Geometrie neben Fotorealismus erfordern. Unsere Projektseite ist die folgende: https://anttwo.github.io/matcha/

English

We present a novel appearance model that simultaneously realizes explicit high-quality 3D surface mesh recovery and photorealistic novel view synthesis from sparse view samples. Our key idea is to model the underlying scene geometry Mesh as an Atlas of Charts which we render with 2D Gaussian surfels (MAtCha Gaussians). MAtCha distills high-frequency scene surface details from an off-the-shelf monocular depth estimator and refines it through Gaussian surfel rendering. The Gaussian surfels are attached to the charts on the fly, satisfying photorealism of neural volumetric rendering and crisp geometry of a mesh model, i.e., two seemingly contradicting goals in a single model. At the core of MAtCha lies a novel neural deformation model and a structure loss that preserve the fine surface details distilled from learned monocular depths while addressing their fundamental scale ambiguities. Results of extensive experimental validation demonstrate MAtCha's state-of-the-art quality of surface reconstruction and photorealism on-par with top contenders but with dramatic reduction in the number of input views and computational time. We believe MAtCha will serve as a foundational tool for any visual application in vision, graphics, and robotics that require explicit geometry in addition to photorealism. Our project page is the following: https://anttwo.github.io/matcha/