Scaffold-GS: 視点適応型レンダリングのための構造化3Dガウシアン

要旨

ニューラルレンダリング手法は、様々な学術的・産業的アプリケーションにおいて、フォトリアルな3Dシーンレンダリングを大幅に進化させてきました。最近の3Dガウシアンスプラッティング手法は、プリミティブベース表現とボリューム表現の両方の利点を組み合わせ、最先端のレンダリング品質と速度を実現しています。しかし、この手法はすべてのトレーニングビューに適合しようとする過剰なガウシアンを生み出し、シーンの基盤となるジオメトリを無視する傾向があります。その結果、生成されたモデルは視点の大幅な変化、テクスチャのない領域、および照明効果に対してロバスト性を失います。本論文では、Scaffold-GSを紹介します。この手法はアンカーポイントを使用して局所的な3Dガウシアンを配置し、ビューフラスタム内の視点方向と距離に基づいてその属性をオンザフライで予測します。アンカーの成長と剪定戦略は、ニューラルガウシアンの重要性に基づいて開発され、シーンカバレッジを確実に向上させます。本手法が冗長なガウシアンを効果的に削減しつつ、高品質なレンダリングを実現することを示します。また、レンダリング速度を犠牲にすることなく、詳細レベルが異なるシーンや視点依存の観察に対応する能力が強化されていることも実証します。

English

Neural rendering methods have significantly advanced photo-realistic 3D scene rendering in various academic and industrial applications. The recent 3D Gaussian Splatting method has achieved the state-of-the-art rendering quality and speed combining the benefits of both primitive-based representations and volumetric representations. However, it often leads to heavily redundant Gaussians that try to fit every training view, neglecting the underlying scene geometry. Consequently, the resulting model becomes less robust to significant view changes, texture-less area and lighting effects. We introduce Scaffold-GS, which uses anchor points to distribute local 3D Gaussians, and predicts their attributes on-the-fly based on viewing direction and distance within the view frustum. Anchor growing and pruning strategies are developed based on the importance of neural Gaussians to reliably improve the scene coverage. We show that our method effectively reduces redundant Gaussians while delivering high-quality rendering. We also demonstrates an enhanced capability to accommodate scenes with varying levels-of-detail and view-dependent observations, without sacrificing the rendering speed.

Scaffold-GS: 視点適応型レンダリングのための構造化3Dガウシアン

Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering

要旨

Support