RadSplat: 放射輝度フィールドを活用したガウススプラッティングによる900FPS以上のロバストなリアルタイムレンダリング

RadSplat: Radiance Field-Informed Gaussian Splatting for Robust Real-Time Rendering with 900+ FPS

March 20, 2024

著者: Michael Niemeyer, Fabian Manhardt, Marie-Julie Rakotosaona, Michael Oechsle, Daniel Duckworth, Rama Gosula, Keisuke Tateno, John Bates, Dominik Kaeser, Federico Tombari

cs.AI

要旨

最近のビュー合成とリアルタイムレンダリングの進展により、驚異的なレンダリング速度でフォトリアルな品質が実現されています。ラディアンスフィールドベースの手法は、野外キャプチャや大規模シーンといった困難なシナリオにおいて最先端の品質を達成しますが、体積レンダリングに伴う過度な計算負荷に悩まされることが多いです。一方、ガウススプラッティングベースの手法はラスタライゼーションに依存し、自然にリアルタイムレンダリングを実現しますが、より困難なシーンでは最適化ヒューリスティックが脆弱で性能が低下する傾向があります。本研究では、複雑なシーンの堅牢なリアルタイムレンダリングを実現する軽量な手法であるRadSplatを提案します。主な貢献は3つあります。第一に、ラディアンスフィールドを事前情報および教師信号として活用し、ポイントベースのシーン表現の最適化を行うことで、品質の向上とより堅牢な最適化を実現します。次に、高品質を維持しながら総ポイント数を削減する新規のプルーニング技術を開発し、より小さくコンパクトなシーン表現と高速な推論速度を実現します。最後に、レンダリングをさらに加速し、家サイズの大規模シーンへのスケーリングを可能にする新規のテスト時フィルタリング手法を提案します。本手法により、900FPS以上の速度で複雑なキャプチャの最先端合成が可能になることを確認しました。

English

Recent advances in view synthesis and real-time rendering have achieved photorealistic quality at impressive rendering speeds. While Radiance Field-based methods achieve state-of-the-art quality in challenging scenarios such as in-the-wild captures and large-scale scenes, they often suffer from excessively high compute requirements linked to volumetric rendering. Gaussian Splatting-based methods, on the other hand, rely on rasterization and naturally achieve real-time rendering but suffer from brittle optimization heuristics that underperform on more challenging scenes. In this work, we present RadSplat, a lightweight method for robust real-time rendering of complex scenes. Our main contributions are threefold. First, we use radiance fields as a prior and supervision signal for optimizing point-based scene representations, leading to improved quality and more robust optimization. Next, we develop a novel pruning technique reducing the overall point count while maintaining high quality, leading to smaller and more compact scene representations with faster inference speeds. Finally, we propose a novel test-time filtering approach that further accelerates rendering and allows to scale to larger, house-sized scenes. We find that our method enables state-of-the-art synthesis of complex captures at 900+ FPS.