EVER: Exacte Volumetrische Ellipsoïde Rendering voor Real-time Beeldsynthese

EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis

October 2, 2024

Auteurs: Alexander Mai, Peter Hedman, George Kopanas, Dor Verbin, David Futschik, Qiangeng Xu, Falko Kuester, Jon Barron, Yinda Zhang

cs.AI

Samenvatting

Wij presenteren Exact Volumetric Ellipsoid Rendering (EVER), een methode voor real-time differentieerbare emissie-alleen volumerendering. In tegenstelling tot de recente rasterisatiegebaseerde benadering door 3D Gaussian Splatting (3DGS), maakt onze op primitieven gebaseerde representatie exacte volumerendering mogelijk, in plaats van alfa-compositie van 3D Gaussian billboards. Als zodanig heeft onze formulering, in tegenstelling tot 3DGS, geen last van popping artifacts en dichtheid afhankelijk van het zicht, maar behaalt nog steeds framerates van ongeveer 30 FPS bij 720p op een NVIDIA RTX4090. Aangezien onze benadering is gebaseerd op ray tracing, maakt het effecten mogelijk zoals onscherpte en cameravervorming (bijv. van fisheye-camera's), die moeilijk te bereiken zijn met rasterisatie. We tonen aan dat onze methode nauwkeuriger is met minder blending problemen dan 3DGS en vervolgonderzoek naar view-consistente rendering, vooral bij de uitdagende grootschalige scènes uit de Zip-NeRF dataset waar het de scherpste resultaten behaalt onder real-time technieken.

English

We present Exact Volumetric Ellipsoid Rendering (EVER), a method for real-time differentiable emission-only volume rendering. Unlike recent rasterization based approach by 3D Gaussian Splatting (3DGS), our primitive based representation allows for exact volume rendering, rather than alpha compositing 3D Gaussian billboards. As such, unlike 3DGS our formulation does not suffer from popping artifacts and view dependent density, but still achieves frame rates of sim!30 FPS at 720p on an NVIDIA RTX4090. Since our approach is built upon ray tracing it enables effects such as defocus blur and camera distortion (e.g. such as from fisheye cameras), which are difficult to achieve by rasterization. We show that our method is more accurate with fewer blending issues than 3DGS and follow-up work on view-consistent rendering, especially on the challenging large-scale scenes from the Zip-NeRF dataset where it achieves sharpest results among real-time techniques.