EVER: Exakte volumetrische Ellipsoiddarstellung zur Echtzeitansichtssynthese

EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis

October 2, 2024

Autoren: Alexander Mai, Peter Hedman, George Kopanas, Dor Verbin, David Futschik, Qiangeng Xu, Falko Kuester, Jon Barron, Yinda Zhang

cs.AI

Zusammenfassung

Wir präsentieren Exact Volumetric Ellipsoid Rendering (EVER), eine Methode für die echtzeitfähige differentielle Emissionsvolumenvisualisierung. Im Gegensatz zum kürzlich vorgestellten rasterisierungsbasierten Ansatz mittels 3D-Gauß-Splatting (3DGS) ermöglicht unsere primitive Darstellung eine exakte Volumenvisualisierung anstelle des Alpha-Kompositings von 3D-Gauß-Billboards. Daher leidet unsere Formulierung im Gegensatz zu 3DGS nicht unter Pop-Artefakten und dichtebasierten Ansichten, erreicht aber dennoch Bildraten von ca. 30 FPS bei 720p auf einer NVIDIA RTX4090. Da unser Ansatz auf dem Raytracing basiert, ermöglicht er Effekte wie Defokus-Unschärfe und Kameraverzerrung (z.B. von Fischaugenkameras), die mit Rasterisierung schwer zu erzielen sind. Wir zeigen, dass unsere Methode genauer ist und weniger Mischungsprobleme aufweist als 3DGS und die darauf folgenden Arbeiten zur ansichtskonsistenten Visualisierung, insbesondere in den anspruchsvollen großflächigen Szenen des Zip-NeRF-Datensatzes, wo sie die schärfsten Ergebnisse unter echtzeitfähigen Techniken erzielt.

English

We present Exact Volumetric Ellipsoid Rendering (EVER), a method for real-time differentiable emission-only volume rendering. Unlike recent rasterization based approach by 3D Gaussian Splatting (3DGS), our primitive based representation allows for exact volume rendering, rather than alpha compositing 3D Gaussian billboards. As such, unlike 3DGS our formulation does not suffer from popping artifacts and view dependent density, but still achieves frame rates of sim!30 FPS at 720p on an NVIDIA RTX4090. Since our approach is built upon ray tracing it enables effects such as defocus blur and camera distortion (e.g. such as from fisheye cameras), which are difficult to achieve by rasterization. We show that our method is more accurate with fewer blending issues than 3DGS and follow-up work on view-consistent rendering, especially on the challenging large-scale scenes from the Zip-NeRF dataset where it achieves sharpest results among real-time techniques.