Gaussianas de MAtCha: Atlas de Gráficos para Geometria de Alta Qualidade e Fotorrealismo a Partir de Vistas Esparsas

MAtCha Gaussians: Atlas of Charts for High-Quality Geometry and Photorealism From Sparse Views

December 9, 2024

Autores: Antoine Guédon, Tomoki Ichikawa, Kohei Yamashita, Ko Nishino

cs.AI

Resumo

Apresentamos um modelo de aparência inovador que realiza simultaneamente a recuperação explícita de malha de superfície 3D de alta qualidade e a síntese fotorealística de novas visualizações a partir de amostras de visualização esparsas. Nossa ideia chave é modelar a geometria da cena subjacente como um Atlas de Gráficos que renderizamos com surfels Gaussianos 2D (MAtCha Gaussians). O MAtCha destila detalhes de alta frequência da superfície da cena de um estimador de profundidade monocular pronto para uso e os aprimora por meio da renderização de surfels Gaussianos. Os surfels Gaussianos são anexados aos gráficos dinamicamente, satisfazendo o fotorealismo da renderização volumétrica neural e a geometria nítida de um modelo de malha, ou seja, dois objetivos aparentemente contraditórios em um único modelo. No cerne do MAtCha está um modelo de deformação neural inovador e uma perda de estrutura que preserva os detalhes finos da superfície destilados das profundidades monoculares aprendidas, ao mesmo tempo em que aborda suas ambiguidades fundamentais de escala. Os resultados da extensa validação experimental demonstram a qualidade de ponta da reconstrução de superfície e o fotorealismo do MAtCha em pé de igualdade com os principais concorrentes, mas com uma redução dramática no número de visualizações de entrada e no tempo computacional. Acreditamos que o MAtCha servirá como uma ferramenta fundamental para qualquer aplicação visual em visão, gráficos e robótica que exija geometria explícita além de fotorealismo. Nossa página do projeto é a seguinte: https://anttwo.github.io/matcha/

English

We present a novel appearance model that simultaneously realizes explicit high-quality 3D surface mesh recovery and photorealistic novel view synthesis from sparse view samples. Our key idea is to model the underlying scene geometry Mesh as an Atlas of Charts which we render with 2D Gaussian surfels (MAtCha Gaussians). MAtCha distills high-frequency scene surface details from an off-the-shelf monocular depth estimator and refines it through Gaussian surfel rendering. The Gaussian surfels are attached to the charts on the fly, satisfying photorealism of neural volumetric rendering and crisp geometry of a mesh model, i.e., two seemingly contradicting goals in a single model. At the core of MAtCha lies a novel neural deformation model and a structure loss that preserve the fine surface details distilled from learned monocular depths while addressing their fundamental scale ambiguities. Results of extensive experimental validation demonstrate MAtCha's state-of-the-art quality of surface reconstruction and photorealism on-par with top contenders but with dramatic reduction in the number of input views and computational time. We believe MAtCha will serve as a foundational tool for any visual application in vision, graphics, and robotics that require explicit geometry in addition to photorealism. Our project page is the following: https://anttwo.github.io/matcha/