MVGS: 新しい視点合成のためのマルチビュー制御ガウススプラッティング

MVGS: Multi-view-regulated Gaussian Splatting for Novel View Synthesis

October 2, 2024

著者: Xiaobiao Du, Yida Wang, Xin Yu

cs.AI

要旨

最近のボリュームレンダリングに関する研究、例えばNeRFや3D Gaussian Splatting（3DGS）は、学習された暗黙のニューラル放射輝度場や3Dガウス分布の支援により、レンダリングの品質と効率を大幅に向上させています。明示的な表現の上にレンダリングを行う、バニラ3DGSおよびその派生モデルは、NeRFから採用されたトレーニング中のイテレーションごとの単一ビュー監督により、リアルタイムの効率性を提供しています。その結果、特定のビューが過学習され、新規ビュー合成や3D幾何学の不正確さを引き起こすことがあります。上記の問題を解決するために、我々は新しい3DGS最適化手法を提案します。この手法には、以下の4つの重要な新しい貢献が組み込まれています。1) 従来の単一ビュートレーニングパラダイムをマルチビュートレーニング戦略に変換します。提案されたマルチビュー規制により、特定のトレーニングビューに過学習することなく、3Dガウス属性がさらに最適化されます。一般的な解決策として、さまざまなシナリオと異なるガウス変種において全体の精度を向上させます。2) 追加のビューによってもたらされる利点に着想を得て、異なる解像度に関する粗から細のトレーニング手順を導入するクロスイントリンシックガイダンススキームを提案します。3) マルチビュー規制トレーニングの上に構築された、クロスレイ密度化戦略を提案し、選択されたビューからのレイ交差領域においてより多くのガウスカーネルを密度化します。4) 密度化戦略をさらに検討した結果、特定のビューが著しく異なる場合には、密度化の効果を強化すべきであることがわかりました。この問題に対処するため、3Dガウスが適切な数に密度化されるよう促す新しいマルチビュー拡張密度化戦略を提案し、再構築の精度を向上させます。

English

Recent works in volume rendering, e.g. NeRF and 3D Gaussian Splatting (3DGS), significantly advance the rendering quality and efficiency with the help of the learned implicit neural radiance field or 3D Gaussians. Rendering on top of an explicit representation, the vanilla 3DGS and its variants deliver real-time efficiency by optimizing the parametric model with single-view supervision per iteration during training which is adopted from NeRF. Consequently, certain views are overfitted, leading to unsatisfying appearance in novel-view synthesis and imprecise 3D geometries. To solve aforementioned problems, we propose a new 3DGS optimization method embodying four key novel contributions: 1) We transform the conventional single-view training paradigm into a multi-view training strategy. With our proposed multi-view regulation, 3D Gaussian attributes are further optimized without overfitting certain training views. As a general solution, we improve the overall accuracy in a variety of scenarios and different Gaussian variants. 2) Inspired by the benefit introduced by additional views, we further propose a cross-intrinsic guidance scheme, leading to a coarse-to-fine training procedure concerning different resolutions. 3) Built on top of our multi-view regulated training, we further propose a cross-ray densification strategy, densifying more Gaussian kernels in the ray-intersect regions from a selection of views. 4) By further investigating the densification strategy, we found that the effect of densification should be enhanced when certain views are distinct dramatically. As a solution, we propose a novel multi-view augmented densification strategy, where 3D Gaussians are encouraged to get densified to a sufficient number accordingly, resulting in improved reconstruction accuracy.