EVER: Renderização Exata de Elipsoides Volumétricos para Síntese de Visualização em Tempo Real

EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis

October 2, 2024

Autores: Alexander Mai, Peter Hedman, George Kopanas, Dor Verbin, David Futschik, Qiangeng Xu, Falko Kuester, Jon Barron, Yinda Zhang

cs.AI

Resumo

Apresentamos o Rendering de Elipsoide Volumétrico Exato (EVER), um método para renderização volumétrica de emissão diferenciável em tempo real. Ao contrário da abordagem recente baseada em rasterização pelo Splatting Gaussiano 3D (3DGS), nossa representação baseada em primitivas permite uma renderização volumétrica exata, em vez de composição alfa de painéis 3D gaussianos. Dessa forma, ao contrário do 3DGS, nossa formulação não sofre de artefatos de popping e densidade dependente da visualização, mas ainda alcança taxas de quadros de aproximadamente 30 FPS em 720p em uma NVIDIA RTX4090. Como nossa abordagem é construída sobre traçado de raios, ela permite efeitos como desfoque de desfoque e distorção da câmera (por exemplo, de câmeras olho de peixe), que são difíceis de alcançar por rasterização. Mostramos que nosso método é mais preciso, com menos problemas de mistura do que o 3DGS e trabalhos subsequentes sobre renderização consistente com a visualização, especialmente em cenas desafiadoras em grande escala do conjunto de dados Zip-NeRF, onde alcança os resultados mais nítidos entre as técnicas em tempo real.

English

We present Exact Volumetric Ellipsoid Rendering (EVER), a method for real-time differentiable emission-only volume rendering. Unlike recent rasterization based approach by 3D Gaussian Splatting (3DGS), our primitive based representation allows for exact volume rendering, rather than alpha compositing 3D Gaussian billboards. As such, unlike 3DGS our formulation does not suffer from popping artifacts and view dependent density, but still achieves frame rates of sim!30 FPS at 720p on an NVIDIA RTX4090. Since our approach is built upon ray tracing it enables effects such as defocus blur and camera distortion (e.g. such as from fisheye cameras), which are difficult to achieve by rasterization. We show that our method is more accurate with fewer blending issues than 3DGS and follow-up work on view-consistent rendering, especially on the challenging large-scale scenes from the Zip-NeRF dataset where it achieves sharpest results among real-time techniques.