EVER: Точная объемная рендеринговая эллипсоидная визуализация для синтеза изображения в реальном времени

EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis

October 2, 2024

Авторы: Alexander Mai, Peter Hedman, George Kopanas, Dor Verbin, David Futschik, Qiangeng Xu, Falko Kuester, Jon Barron, Yinda Zhang

cs.AI

Аннотация

Мы представляем метод точного объемного рендеринга эллипсоидов (EVER), предназначенный для дифференцируемого объемного рендеринга с эмиссией в реальном времени. В отличие от недавнего подхода на основе растеризации с помощью трехмерного гауссовского сплетения (3DGS), наша примитивная репрезентация позволяет достичь точного объемного рендеринга, а не альфа-композитинг трехмерных гауссовских щитов. Таким образом, в отличие от 3DGS, наша формулировка не страдает от артефактов "попинга" и плотности, зависящей от вида, но все же достигает частоты кадров около 30 к/с при разрешении 720p на NVIDIA RTX4090. Поскольку наш подход основан на трассировке лучей, он позволяет реализовать эффекты, такие как размытие дефокуса и искажение камеры (например, от фишай-камер), которые сложно достичь с помощью растеризации. Мы показываем, что наш метод более точен и имеет меньше проблем с смешиванием, чем 3DGS и последующие работы по рендерингу с сохранением вида, особенно на сложных сценах большого масштаба из набора данных Zip-NeRF, где он достигает наилучших результатов среди техник реального времени.

English

We present Exact Volumetric Ellipsoid Rendering (EVER), a method for real-time differentiable emission-only volume rendering. Unlike recent rasterization based approach by 3D Gaussian Splatting (3DGS), our primitive based representation allows for exact volume rendering, rather than alpha compositing 3D Gaussian billboards. As such, unlike 3DGS our formulation does not suffer from popping artifacts and view dependent density, but still achieves frame rates of sim!30 FPS at 720p on an NVIDIA RTX4090. Since our approach is built upon ray tracing it enables effects such as defocus blur and camera distortion (e.g. such as from fisheye cameras), which are difficult to achieve by rasterization. We show that our method is more accurate with fewer blending issues than 3DGS and follow-up work on view-consistent rendering, especially on the challenging large-scale scenes from the Zip-NeRF dataset where it achieves sharpest results among real-time techniques.