EVER: Renderizado Exacto de Elipsoides Volumétricos para Síntesis de Vistas en Tiempo Real

EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis

October 2, 2024

Autores: Alexander Mai, Peter Hedman, George Kopanas, Dor Verbin, David Futschik, Qiangeng Xu, Falko Kuester, Jon Barron, Yinda Zhang

cs.AI

Resumen

Presentamos Exact Volumetric Ellipsoid Rendering (EVER), un método para renderizado de volumen diferenciable en tiempo real que emite únicamente. A diferencia del enfoque reciente basado en rasterización por 3D Gaussian Splatting (3DGS), nuestra representación basada en primitivas permite un renderizado de volumen exacto, en lugar de componer alfa mediante carteles tridimensionales gaussianos. Por lo tanto, a diferencia de 3DGS, nuestra formulación no sufre de artefactos de popping y densidad dependiente de la vista, pero aún logra tasas de cuadros de aproximadamente 30 FPS a 720p en una NVIDIA RTX4090. Dado que nuestro enfoque se basa en trazado de rayos, permite efectos como desenfoque de desenfoque y distorsión de cámara (por ejemplo, de cámaras ojo de pez), que son difíciles de lograr mediante rasterización. Mostramos que nuestro método es más preciso con menos problemas de mezcla que 3DGS y trabajos posteriores sobre renderizado consistente con la vista, especialmente en las desafiantes escenas a gran escala del conjunto de datos Zip-NeRF, donde logra los resultados más nítidos entre las técnicas en tiempo real.

English

We present Exact Volumetric Ellipsoid Rendering (EVER), a method for real-time differentiable emission-only volume rendering. Unlike recent rasterization based approach by 3D Gaussian Splatting (3DGS), our primitive based representation allows for exact volume rendering, rather than alpha compositing 3D Gaussian billboards. As such, unlike 3DGS our formulation does not suffer from popping artifacts and view dependent density, but still achieves frame rates of sim!30 FPS at 720p on an NVIDIA RTX4090. Since our approach is built upon ray tracing it enables effects such as defocus blur and camera distortion (e.g. such as from fisheye cameras), which are difficult to achieve by rasterization. We show that our method is more accurate with fewer blending issues than 3DGS and follow-up work on view-consistent rendering, especially on the challenging large-scale scenes from the Zip-NeRF dataset where it achieves sharpest results among real-time techniques.