リアルタイムビュー合成のための正確な体積楕円体レンダリング

EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis

October 2, 2024

著者: Alexander Mai, Peter Hedman, George Kopanas, Dor Verbin, David Futschik, Qiangeng Xu, Falko Kuester, Jon Barron, Yinda Zhang

cs.AI

要旨

私たちは、リアルタイムの微分可能な放射射影のみのボリュームレンダリング手法であるExact Volumetric Ellipsoid Rendering (EVER) を提案します。最近の3D Gaussian Splatting (3DGS) によるラスタライゼーションベースのアプローチとは異なり、私たちのプリミティブベースの表現は、3D Gaussianビルボードのアルファ合成ではなく、正確なボリュームレンダリングを可能にします。そのため、3DGSとは異なり、私たちの定式化はポッピングアーティファクトやビュー依存の密度の問題を抱えず、720pの解像度でNVIDIA RTX4090上で約30 FPSのフレームレートを達成しています。私たちのアプローチはレイトレーシングに基づいて構築されているため、ラスタライゼーションでは実現が難しい、デフォーカスブラー、カメラの歪み（例：フィッシュアイカメラからの歪み）などの効果を可能にします。私たちは、私たちの手法が3DGSよりもブレンディングの問題が少なく、Zip-NeRFデータセットの大規模シーンにおいて特に、リアルタイムの技術の中で最も鮮明な結果を達成していることを示し、ビューに一貫性のあるレンダリングに関する後続研究よりも精度が高いことを示します。

English

We present Exact Volumetric Ellipsoid Rendering (EVER), a method for real-time differentiable emission-only volume rendering. Unlike recent rasterization based approach by 3D Gaussian Splatting (3DGS), our primitive based representation allows for exact volume rendering, rather than alpha compositing 3D Gaussian billboards. As such, unlike 3DGS our formulation does not suffer from popping artifacts and view dependent density, but still achieves frame rates of sim!30 FPS at 720p on an NVIDIA RTX4090. Since our approach is built upon ray tracing it enables effects such as defocus blur and camera distortion (e.g. such as from fisheye cameras), which are difficult to achieve by rasterization. We show that our method is more accurate with fewer blending issues than 3DGS and follow-up work on view-consistent rendering, especially on the challenging large-scale scenes from the Zip-NeRF dataset where it achieves sharpest results among real-time techniques.