EVER : Rendu Ellipsoïdal Volumétrique Exact pour la Synthèse de Vue en Temps Réel

EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis

October 2, 2024

Auteurs: Alexander Mai, Peter Hedman, George Kopanas, Dor Verbin, David Futschik, Qiangeng Xu, Falko Kuester, Jon Barron, Yinda Zhang

cs.AI

Résumé

Nous présentons le Rendu Ellipsoïdal Volumétrique Exact (EVER), une méthode de rendu volumétrique émissif différentiable en temps réel. Contrairement à l'approche récente basée sur la rasterisation par Éclatement Gaussien 3D (3DGS), notre représentation basée sur des primitives permet un rendu volumétrique exact, plutôt que la composition alpha de panneaux publicitaires gaussiens 3D. Ainsi, contrairement à 3DGS, notre formulation ne souffre pas d'artefacts de saillance et de densité dépendante de la vue, tout en atteignant des taux d'images d'environ 30 FPS en 720p sur un NVIDIA RTX4090. Étant donné que notre approche est basée sur le lancer de rayons, elle permet des effets tels que le flou de mise au point et la distorsion de la caméra (par exemple, à partir de caméras fisheye), difficiles à obtenir par rasterisation. Nous montrons que notre méthode est plus précise avec moins de problèmes de fusion que 3DGS et les travaux ultérieurs sur le rendu cohérent de la vue, en particulier sur les scènes à grande échelle difficiles du jeu de données Zip-NeRF, où elle obtient les résultats les plus nets parmi les techniques en temps réel.

English

We present Exact Volumetric Ellipsoid Rendering (EVER), a method for real-time differentiable emission-only volume rendering. Unlike recent rasterization based approach by 3D Gaussian Splatting (3DGS), our primitive based representation allows for exact volume rendering, rather than alpha compositing 3D Gaussian billboards. As such, unlike 3DGS our formulation does not suffer from popping artifacts and view dependent density, but still achieves frame rates of sim!30 FPS at 720p on an NVIDIA RTX4090. Since our approach is built upon ray tracing it enables effects such as defocus blur and camera distortion (e.g. such as from fisheye cameras), which are difficult to achieve by rasterization. We show that our method is more accurate with fewer blending issues than 3DGS and follow-up work on view-consistent rendering, especially on the challenging large-scale scenes from the Zip-NeRF dataset where it achieves sharpest results among real-time techniques.