RayGauss: フォトリアルな新規ビュー合成のためのボリュメトリックガウシアンベースレイキャスティング

RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis

August 6, 2024

著者: Hugo Blanc, Jean-Emmanuel Deschaud, Alexis Paljic

cs.AI

要旨

微分可能なボリュメトリックレンダリングに基づく手法は、新規視点合成において大きな進展を遂げました。一方では、Neural Radiance Fields (NeRF)ネットワークを局所的にパラメータ化された構造に置き換える革新的な手法が登場し、合理的な時間内で高品質なレンダリングを実現しています。他方では、NeRFのレイキャスティングの代わりに微分可能なスプラッティングを用いて、ガウシアンカーネルを活用して放射場を迅速に最適化するアプローチが採用され、シーンへの細かな適応を可能にしています。しかし、不規則に配置されたカーネルの微分可能なレイキャスティングはほとんど探索されておらず、スプラッティングは高速なレンダリングを可能にする一方で、明らかなアーティファクトが生じやすいという課題があります。 本研究はこのギャップを埋めるため、放射輝度cと密度σを物理的に一貫した形で定式化し、全周波数の色度表現のために球面ガウシアン/球面調和関数に関連付けたガウス関数で分解します。さらに、不規則に分布するガウシアンの微分可能なレイキャスティングを可能にする手法を導入し、放射場をスラブごとに統合し、BVH構造を活用するアルゴリズムを使用します。これにより、スプラッティングのアーティファクトを回避しつつ、シーンに細かく適応することが可能になります。その結果、最新技術と比較して優れたレンダリング品質を実現し、合理的な学習時間を維持しつつ、Blenderデータセットにおいて25 FPSの推論速度を達成しました。プロジェクトページ（動画とコードあり）：https://raygauss.github.io/

English

Differentiable volumetric rendering-based methods made significant progress in novel view synthesis. On one hand, innovative methods have replaced the Neural Radiance Fields (NeRF) network with locally parameterized structures, enabling high-quality renderings in a reasonable time. On the other hand, approaches have used differentiable splatting instead of NeRF's ray casting to optimize radiance fields rapidly using Gaussian kernels, allowing for fine adaptation to the scene. However, differentiable ray casting of irregularly spaced kernels has been scarcely explored, while splatting, despite enabling fast rendering times, is susceptible to clearly visible artifacts. Our work closes this gap by providing a physically consistent formulation of the emitted radiance c and density {\sigma}, decomposed with Gaussian functions associated with Spherical Gaussians/Harmonics for all-frequency colorimetric representation. We also introduce a method enabling differentiable ray casting of irregularly distributed Gaussians using an algorithm that integrates radiance fields slab by slab and leverages a BVH structure. This allows our approach to finely adapt to the scene while avoiding splatting artifacts. As a result, we achieve superior rendering quality compared to the state-of-the-art while maintaining reasonable training times and achieving inference speeds of 25 FPS on the Blender dataset. Project page with videos and code: https://raygauss.github.io/