EVER: Rappresentazione Esatta Volumetrica di Ellissoidi per la Sintesi della Vista in Tempo Reale

EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis

October 2, 2024

Autori: Alexander Mai, Peter Hedman, George Kopanas, Dor Verbin, David Futschik, Qiangeng Xu, Falko Kuester, Jon Barron, Yinda Zhang

cs.AI

Abstract

Presentiamo Exact Volumetric Ellipsoid Rendering (EVER), un metodo per il rendering volumetrico ad emissione differenziabile in tempo reale. A differenza dell'approccio recente basato sulla rasterizzazione con 3D Gaussian Splatting (3DGS), la nostra rappresentazione basata su primitive consente un rendering volumetrico esatto, piuttosto che la composizione alfa di pannelli pubblicitari 3D Gaussian. Pertanto, a differenza di 3DGS, la nostra formulazione non soffre di artefatti di popping e densità dipendente dalla vista, ma riesce comunque a raggiungere frame rate di circa 30 FPS a 720p su un NVIDIA RTX4090. Poiché il nostro approccio si basa sul tracciamento dei raggi, consente effetti come lo sfocatura di defocus e la distorsione della fotocamera (ad es. da telecamere fish-eye), difficili da ottenere con la rasterizzazione. Dimostriamo che il nostro metodo è più accurato con minori problemi di blending rispetto a 3DGS e ai lavori successivi sul rendering coerente con la vista, specialmente nelle scene su larga scala sfidanti del dataset Zip-NeRF, dove ottiene i risultati più nitidi tra le tecniche in tempo reale.

English

We present Exact Volumetric Ellipsoid Rendering (EVER), a method for real-time differentiable emission-only volume rendering. Unlike recent rasterization based approach by 3D Gaussian Splatting (3DGS), our primitive based representation allows for exact volume rendering, rather than alpha compositing 3D Gaussian billboards. As such, unlike 3DGS our formulation does not suffer from popping artifacts and view dependent density, but still achieves frame rates of sim!30 FPS at 720p on an NVIDIA RTX4090. Since our approach is built upon ray tracing it enables effects such as defocus blur and camera distortion (e.g. such as from fisheye cameras), which are difficult to achieve by rasterization. We show that our method is more accurate with fewer blending issues than 3DGS and follow-up work on view-consistent rendering, especially on the challenging large-scale scenes from the Zip-NeRF dataset where it achieves sharpest results among real-time techniques.