Сопоставление гауссов: Атлас диаграмм для высококачественной геометрии и фотореализма по данным из небольшого числа видов

MAtCha Gaussians: Atlas of Charts for High-Quality Geometry and Photorealism From Sparse Views

December 9, 2024

Авторы: Antoine Guédon, Tomoki Ichikawa, Kohei Yamashita, Ko Nishino

cs.AI

Аннотация

Мы представляем новую модель внешнего вида, которая одновременно обеспечивает явное восстановление трехмерной поверхности высокого качества и фотореалистичный синтез нового вида из ограниченного числа образцов видов. Наш ключевой идеей является моделирование базовой геометрии сцены в виде атласа диаграмм, который мы визуализируем с помощью двумерных гауссовских сурфелей (MAtCha Гауссианы). MAtCha извлекает высокочастотные детали поверхности сцены из готового монокулярного оценщика глубины и улучшает их с помощью визуализации гауссовских сурфелей. Гауссовские сурфели присоединяются к диаграммам на лету, обеспечивая фотореализм нейронной объемной визуализации и четкую геометрию модели сетки, то есть две кажущиеся противоречащие цели в одной модели. В основе MAtCha лежит новая модель нейронной деформации и потеря структуры, которые сохраняют тонкие детали поверхности, извлеченные из изученных монокулярных глубин, решая их фундаментальные неоднозначности масштаба. Результаты обширной экспериментальной проверки демонстрируют высокое качество восстановления поверхности и фотореализма MAtCha на уровне лучших конкурентов, но с драматическим сокращением числа входных видов и вычислительного времени. Мы считаем, что MAtCha станет фундаментальным инструментом для любого визуального приложения в области зрения, графики и робототехники, которые требуют явной геометрии в дополнение к фотореализму. Наша страница проекта находится по следующему адресу: https://anttwo.github.io/matcha/

English

We present a novel appearance model that simultaneously realizes explicit high-quality 3D surface mesh recovery and photorealistic novel view synthesis from sparse view samples. Our key idea is to model the underlying scene geometry Mesh as an Atlas of Charts which we render with 2D Gaussian surfels (MAtCha Gaussians). MAtCha distills high-frequency scene surface details from an off-the-shelf monocular depth estimator and refines it through Gaussian surfel rendering. The Gaussian surfels are attached to the charts on the fly, satisfying photorealism of neural volumetric rendering and crisp geometry of a mesh model, i.e., two seemingly contradicting goals in a single model. At the core of MAtCha lies a novel neural deformation model and a structure loss that preserve the fine surface details distilled from learned monocular depths while addressing their fundamental scale ambiguities. Results of extensive experimental validation demonstrate MAtCha's state-of-the-art quality of surface reconstruction and photorealism on-par with top contenders but with dramatic reduction in the number of input views and computational time. We believe MAtCha will serve as a foundational tool for any visual application in vision, graphics, and robotics that require explicit geometry in addition to photorealism. Our project page is the following: https://anttwo.github.io/matcha/