MAtChaガウス分布：スパースビューからの高品質ジオメトリと写実性のためのチャートのアトラス

MAtCha Gaussians: Atlas of Charts for High-Quality Geometry and Photorealism From Sparse Views

December 9, 2024

著者: Antoine Guédon, Tomoki Ichikawa, Kohei Yamashita, Ko Nishino

cs.AI

要旨

私たちは、希少な視点サンプルから明示的な高品質3D表面メッシュの復元と写実的な新しい視点合成を同時に実現する新しい外観モデルを提案します。私たちの主要なアイデアは、シーンの基礎となるジオメトリメッシュをチャートのアトラスとしてモデル化し、2Dガウスサーフェル（MAtChaガウス）でレンダリングすることです。MAtChaは、市販の単眼深度推定器から高周波シーン表面の詳細を抽出し、ガウスサーフェルのレンダリングを通じて洗練させます。ガウスサーフェルは、チャートに動的に取り付けられ、ニューラルボリューメトリックレンダリングの写実性とメッシュモデルの鮮明なジオメトリを満たし、一つのモデルで二つの矛盾する目標を実現します。MAtChaの中心には、新しいニューラル変形モデルと、学習された単眼深度から抽出された微細な表面詳細を保持し、その基本的なスケールの曖昧さに対処する構造損失があります。幅広い実験的検証の結果、MAtChaは、トップ競合他と同等の表面再構築の最先端の品質と写実性を実現しますが、入力ビュー数と計算時間を劇的に削減します。MAtChaは、写実性に加えて明示的なジオメトリを必要とするビジョン、グラフィック、およびロボティクスの任意の視覚アプリケーションにとって基礎となるツールとして機能すると信じています。プロジェクトページは以下の通りです：https://anttwo.github.io/matcha/

English

We present a novel appearance model that simultaneously realizes explicit high-quality 3D surface mesh recovery and photorealistic novel view synthesis from sparse view samples. Our key idea is to model the underlying scene geometry Mesh as an Atlas of Charts which we render with 2D Gaussian surfels (MAtCha Gaussians). MAtCha distills high-frequency scene surface details from an off-the-shelf monocular depth estimator and refines it through Gaussian surfel rendering. The Gaussian surfels are attached to the charts on the fly, satisfying photorealism of neural volumetric rendering and crisp geometry of a mesh model, i.e., two seemingly contradicting goals in a single model. At the core of MAtCha lies a novel neural deformation model and a structure loss that preserve the fine surface details distilled from learned monocular depths while addressing their fundamental scale ambiguities. Results of extensive experimental validation demonstrate MAtCha's state-of-the-art quality of surface reconstruction and photorealism on-par with top contenders but with dramatic reduction in the number of input views and computational time. We believe MAtCha will serve as a foundational tool for any visual application in vision, graphics, and robotics that require explicit geometry in addition to photorealism. Our project page is the following: https://anttwo.github.io/matcha/