GS^3: トリプルガウススプラッティングを用いた効率的なリライティング

GS^3: Efficient Relighting with Triple Gaussian Splatting

October 15, 2024

著者: Zoubin Bi, Yixin Zeng, Chong Zeng, Fan Pei, Xiang Feng, Kun Zhou, Hongzhi Wu

cs.AI

要旨

私たちは、複数の視点から照らされた入力画像からのリアルタイムで高品質な新しいライティングとビューの合成のために、空間と角度のガウスベースの表現とトリプルスプラッティングプロセスを提案します。複雑な外観を記述するために、各空間ガウスに対して効果的な反射関数としてランベルトと角度ガウスの混合物を採用します。セルフシャドウを生成するために、すべての空間ガウスを光源に向かってスプラットし、影の値を取得し、さらに小さなマルチレイヤーパーセプトロンによって洗練します。他の効果（グローバルイルミネーションなど）を補償するために、別のネットワークが訓練され、空間ガウスごとのRGBタプルを計算して追加します。私たちの表現の効果は、幅広いジオメトリ（固体からフワフワまで）や外観（透明から異方性まで）を持つ30のサンプルで示され、合成/再構築されたオブジェクトのレンダリングされた画像、手持ちのカメラとフラッシュで撮影された写真、またはプロのライトステージから取得したデータの異なる形式を使用しています。1つの商用GPUでのトレーニング時間は40〜70分、レンダリング速度は90 fpsを達成しています。品質/パフォーマンスの観点で、当社の結果は最先端の技術と有利な比較ができます。当社のコードとデータはhttps://GSrelight.github.io/で公開されています。

English

We present a spatial and angular Gaussian based representation and a triple splatting process, for real-time, high-quality novel lighting-and-view synthesis from multi-view point-lit input images. To describe complex appearance, we employ a Lambertian plus a mixture of angular Gaussians as an effective reflectance function for each spatial Gaussian. To generate self-shadow, we splat all spatial Gaussians towards the light source to obtain shadow values, which are further refined by a small multi-layer perceptron. To compensate for other effects like global illumination, another network is trained to compute and add a per-spatial-Gaussian RGB tuple. The effectiveness of our representation is demonstrated on 30 samples with a wide variation in geometry (from solid to fluffy) and appearance (from translucent to anisotropic), as well as using different forms of input data, including rendered images of synthetic/reconstructed objects, photographs captured with a handheld camera and a flash, or from a professional lightstage. We achieve a training time of 40-70 minutes and a rendering speed of 90 fps on a single commodity GPU. Our results compare favorably with state-of-the-art techniques in terms of quality/performance. Our code and data are publicly available at https://GSrelight.github.io/.