GPS-Gaussian: リアルタイム人間新視点合成のための一般化可能なピクセル単位3Dガウススプラッティング

要旨

本論文では、GPS-Gaussianと呼ばれる新しいアプローチを提案し、キャラクターの新規視点合成をリアルタイムで実現します。提案手法は、スパースビューカメラ設定下において2K解像度のレンダリングを可能にします。従来のGaussian Splattingやニューラル暗黙的レンダリング手法とは異なり、被写体ごとの最適化を必要とせず、ソースビュー上で定義されたGaussianパラメータマップを導入し、Gaussian Splattingの特性を直接回帰することで、微調整や最適化なしに即座に新規視点合成を行います。この目的のために、大量の人間スキャンデータを用いてGaussianパラメータ回帰モジュールを訓練し、深度推定モジュールと連携して2Dパラメータマップを3D空間にリフトします。提案フレームワークは完全に微分可能であり、複数のデータセットでの実験により、本手法が最先端の手法を上回り、卓越したレンダリング速度を達成することを示します。

English

We present a new approach, termed GPS-Gaussian, for synthesizing novel views of a character in a real-time manner. The proposed method enables 2K-resolution rendering under a sparse-view camera setting. Unlike the original Gaussian Splatting or neural implicit rendering methods that necessitate per-subject optimizations, we introduce Gaussian parameter maps defined on the source views and regress directly Gaussian Splatting properties for instant novel view synthesis without any fine-tuning or optimization. To this end, we train our Gaussian parameter regression module on a large amount of human scan data, jointly with a depth estimation module to lift 2D parameter maps to 3D space. The proposed framework is fully differentiable and experiments on several datasets demonstrate that our method outperforms state-of-the-art methods while achieving an exceeding rendering speed.

GPS-Gaussian: リアルタイム人間新視点合成のための一般化可能なピクセル単位3Dガウススプラッティング

GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis

要旨

Support