リアルタイム放射輝度フィールドレンダリングのための3Dガウシアンスプラッティング
3D Gaussian Splatting for Real-Time Radiance Field Rendering
August 8, 2023
著者: Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, George Drettakis
cs.AI
要旨
ラディアンスフィールド手法は近年、複数の写真や動画でキャプチャされたシーンの新視点合成に革命をもたらしました。しかし、高い視覚品質を達成するためには、依然として訓練とレンダリングにコストのかかるニューラルネットワークが必要であり、最近の高速化手法では必然的に速度と品質のトレードオフが生じています。孤立した物体ではなく無境界で完全なシーンにおいて、1080p解像度のレンダリングをリアルタイム表示レートで実現する手法は、現在存在しません。本研究では、最先端の視覚品質を維持しつつ競争力のある訓練時間を実現し、さらに重要な点として1080p解像度での高品質なリアルタイム（>= 30 fps）新視点合成を可能にする3つの重要な要素を導入します。第一に、カメラキャリブレーション中に生成されるスパースな点群を出発点として、シーンを3Dガウシアンで表現します。これにより、シーン最適化のための連続的な体積ラディアンスフィールドの望ましい特性を保持しつつ、空の空間での不要な計算を回避します。第二に、3Dガウシアンの交互最適化/密度制御を行い、特に異方性共分散を最適化することでシーンの正確な表現を実現します。第三に、異方性スプラッティングをサポートし、訓練を加速するとともにリアルタイムレンダリングを可能にする高速な可視性認識レンダリングアルゴリズムを開発します。我々は、いくつかの確立されたデータセットにおいて、最先端の視覚品質とリアルタイムレンダリングを実証します。
English
Radiance Field methods have recently revolutionized novel-view synthesis of
scenes captured with multiple photos or videos. However, achieving high visual
quality still requires neural networks that are costly to train and render,
while recent faster methods inevitably trade off speed for quality. For
unbounded and complete scenes (rather than isolated objects) and 1080p
resolution rendering, no current method can achieve real-time display rates. We
introduce three key elements that allow us to achieve state-of-the-art visual
quality while maintaining competitive training times and importantly allow
high-quality real-time (>= 30 fps) novel-view synthesis at 1080p resolution.
First, starting from sparse points produced during camera calibration, we
represent the scene with 3D Gaussians that preserve desirable properties of
continuous volumetric radiance fields for scene optimization while avoiding
unnecessary computation in empty space; Second, we perform interleaved
optimization/density control of the 3D Gaussians, notably optimizing
anisotropic covariance to achieve an accurate representation of the scene;
Third, we develop a fast visibility-aware rendering algorithm that supports
anisotropic splatting and both accelerates training and allows realtime
rendering. We demonstrate state-of-the-art visual quality and real-time
rendering on several established datasets.