SAGS: 構造認識型3Dガウススプラッティング

SAGS: Structure-Aware 3D Gaussian Splatting

April 29, 2024

著者: Evangelos Ververas, Rolandos Alexandros Potamias, Jifei Song, Jiankang Deng, Stefanos Zafeiriou

cs.AI

要旨

NeRFの登場に続き、3D Gaussian Splatting（3D-GS）は、ボリュームメトリック手法の計算負荷を克服し、リアルタイムニューラルレンダリングへの道を切り開きました。3D-GSの先駆的な研究に続き、いくつかの手法が圧縮可能で高忠実度な性能を実現する代替案を模索してきました。しかし、これらの手法はジオメトリに依存しない最適化スキームを採用しているため、シーンの内在的な3D構造を無視し、表現力と表現品質を制限し、さまざまな浮動点やアーティファクトを引き起こしています。本研究では、シーンのジオメトリを暗黙的にエンコードする構造認識型Gaussian Splatting手法（SAGS）を提案し、ベンチマーク新視点合成データセットにおいて最先端のレンダリング性能とストレージ要件の削減を実現します。SAGSは、複雑なシーンの学習を促進し、シーンのジオメトリを保持する意味のある点変位を強制するローカル-グローバルグラフ表現に基づいています。さらに、シンプルでありながら効果的な中間点補間スキームを使用した軽量版SAGSを導入し、圧縮戦略に依存せずに最大24倍のサイズ削減を実現するコンパクトなシーン表現を示します。複数のベンチマークデータセットにわたる広範な実験により、SAGSがレンダリング品質とモデルサイズの両方において最先端の3D-GS手法と比較して優れていることが実証されました。また、構造認識型手法が浮動アーティファクトや以前の手法の不規則な歪みを効果的に軽減し、正確な深度マップを取得できることを示します。プロジェクトページ：https://eververas.github.io/SAGS/

English

Following the advent of NeRFs, 3D Gaussian Splatting (3D-GS) has paved the way to real-time neural rendering overcoming the computational burden of volumetric methods. Following the pioneering work of 3D-GS, several methods have attempted to achieve compressible and high-fidelity performance alternatives. However, by employing a geometry-agnostic optimization scheme, these methods neglect the inherent 3D structure of the scene, thereby restricting the expressivity and the quality of the representation, resulting in various floating points and artifacts. In this work, we propose a structure-aware Gaussian Splatting method (SAGS) that implicitly encodes the geometry of the scene, which reflects to state-of-the-art rendering performance and reduced storage requirements on benchmark novel-view synthesis datasets. SAGS is founded on a local-global graph representation that facilitates the learning of complex scenes and enforces meaningful point displacements that preserve the scene's geometry. Additionally, we introduce a lightweight version of SAGS, using a simple yet effective mid-point interpolation scheme, which showcases a compact representation of the scene with up to 24times size reduction without the reliance on any compression strategies. Extensive experiments across multiple benchmark datasets demonstrate the superiority of SAGS compared to state-of-the-art 3D-GS methods under both rendering quality and model size. Besides, we demonstrate that our structure-aware method can effectively mitigate floating artifacts and irregular distortions of previous methods while obtaining precise depth maps. Project page https://eververas.github.io/SAGS/.