TRIPS: Трилинейное точечное размытие для рендеринга полей излучения в реальном времени
TRIPS: Trilinear Point Splatting for Real-Time Radiance Field Rendering
January 11, 2024
Авторы: Linus Franke, Darius Rückert, Laura Fink, Marc Stamminger
cs.AI
Аннотация
Рендеринг на основе точечных полей излучения продемонстрировал впечатляющие результаты в синтезе новых видов, предлагая убедительное сочетание качества визуализации и вычислительной эффективности. Однако даже самые современные подходы в этой области не лишены недостатков. Метод 3D Gaussian Splatting [Kerbl и Kopanas et al. 2023] сталкивается с трудностями при рендеринге сцен с высокой детализацией, что проявляется в размытии и облачных артефактах. С другой стороны, ADOP [Rückert et al. 2022] способен создавать более четкие изображения, но нейронная сеть реконструкции снижает производительность, страдает от временной нестабильности и не может эффективно устранять большие пробелы в облаке точек.
В данной статье мы представляем TRIPS (Trilinear Point Splatting) — подход, который объединяет идеи как Gaussian Splatting, так и ADOP. Основная концепция нашей новой техники заключается в растеризации точек в пирамиду изображений в экранном пространстве, где выбор уровня пирамиды определяется проекционным размером точки. Этот подход позволяет рендерить точки произвольно большого размера с использованием единственной трилинейной записи. Затем легковесная нейронная сеть используется для реконструкции изображения без пробелов, включая детали, выходящие за пределы разрешения сплатов. Важно отметить, что наш конвейер рендеринга полностью дифференцируем, что позволяет автоматически оптимизировать как размеры, так и позиции точек.
Наши оценки показывают, что TRIPS превосходит существующие передовые методы по качеству рендеринга, сохраняя при этом частоту кадров в реальном времени — 60 кадров в секунду на доступном оборудовании. Эта производительность распространяется на сложные сценарии, такие как сцены со сложной геометрией, обширными ландшафтами и автоматически экспонированными видеозаписями.
English
Point-based radiance field rendering has demonstrated impressive results for
novel view synthesis, offering a compelling blend of rendering quality and
computational efficiency. However, also latest approaches in this domain are
not without their shortcomings. 3D Gaussian Splatting [Kerbl and Kopanas et al.
2023] struggles when tasked with rendering highly detailed scenes, due to
blurring and cloudy artifacts. On the other hand, ADOP [R\"uckert et al. 2022]
can accommodate crisper images, but the neural reconstruction network decreases
performance, it grapples with temporal instability and it is unable to
effectively address large gaps in the point cloud.
In this paper, we present TRIPS (Trilinear Point Splatting), an approach that
combines ideas from both Gaussian Splatting and ADOP. The fundamental concept
behind our novel technique involves rasterizing points into a screen-space
image pyramid, with the selection of the pyramid layer determined by the
projected point size. This approach allows rendering arbitrarily large points
using a single trilinear write. A lightweight neural network is then used to
reconstruct a hole-free image including detail beyond splat resolution.
Importantly, our render pipeline is entirely differentiable, allowing for
automatic optimization of both point sizes and positions.
Our evaluation demonstrate that TRIPS surpasses existing state-of-the-art
methods in terms of rendering quality while maintaining a real-time frame rate
of 60 frames per second on readily available hardware. This performance extends
to challenging scenarios, such as scenes featuring intricate geometry,
expansive landscapes, and auto-exposed footage.