MAtCha Gaussians: Atlas de Gráficos para Geometría de Alta Calidad y Fotorealismo a partir de Vistas Escasas

MAtCha Gaussians: Atlas of Charts for High-Quality Geometry and Photorealism From Sparse Views

December 9, 2024

Autores: Antoine Guédon, Tomoki Ichikawa, Kohei Yamashita, Ko Nishino

cs.AI

Resumen

Presentamos un nuevo modelo de apariencia que realiza simultáneamente la recuperación explícita de mallas de superficie 3D de alta calidad y la síntesis fotorealista de nuevas vistas a partir de muestras de vista dispersas. Nuestra idea clave es modelar la geometría de escena subyacente como un Atlas de Cartas que renderizamos con surfels Gaussianos 2D (MAtCha Gaussianos). MAtCha destila detalles de alta frecuencia de la superficie de la escena de un estimador de profundidad monocular listo para usar y lo perfecciona a través de la renderización de surfels Gaussianos. Los surfels Gaussianos se adjuntan a las cartas sobre la marcha, satisfaciendo el fotorealismo de la renderización volumétrica neuronal y la geometría nítida de un modelo de malla, es decir, dos objetivos aparentemente contradictorios en un solo modelo. En el núcleo de MAtCha se encuentra un nuevo modelo de deformación neuronal y una pérdida de estructura que preserva los detalles finos de la superficie destilados de las profundidades monoculares aprendidas mientras aborda sus ambigüedades fundamentales de escala. Los resultados de una extensa validación experimental demuestran la calidad de vanguardia de la reconstrucción de superficies y el fotorealismo de MAtCha a la par de los principales competidores pero con una reducción drástica en el número de vistas de entrada y el tiempo computacional. Creemos que MAtCha servirá como una herramienta fundamental para cualquier aplicación visual en visión, gráficos y robótica que requiera geometría explícita además de fotorealismo. Nuestra página del proyecto es la siguiente: https://anttwo.github.io/matcha/

English

We present a novel appearance model that simultaneously realizes explicit high-quality 3D surface mesh recovery and photorealistic novel view synthesis from sparse view samples. Our key idea is to model the underlying scene geometry Mesh as an Atlas of Charts which we render with 2D Gaussian surfels (MAtCha Gaussians). MAtCha distills high-frequency scene surface details from an off-the-shelf monocular depth estimator and refines it through Gaussian surfel rendering. The Gaussian surfels are attached to the charts on the fly, satisfying photorealism of neural volumetric rendering and crisp geometry of a mesh model, i.e., two seemingly contradicting goals in a single model. At the core of MAtCha lies a novel neural deformation model and a structure loss that preserve the fine surface details distilled from learned monocular depths while addressing their fundamental scale ambiguities. Results of extensive experimental validation demonstrate MAtCha's state-of-the-art quality of surface reconstruction and photorealism on-par with top contenders but with dramatic reduction in the number of input views and computational time. We believe MAtCha will serve as a foundational tool for any visual application in vision, graphics, and robotics that require explicit geometry in addition to photorealism. Our project page is the following: https://anttwo.github.io/matcha/