TRIPS: Trilineair Punt Splatten voor Real-Time Radiance Field Rendering
TRIPS: Trilinear Point Splatting for Real-Time Radiance Field Rendering
January 11, 2024
Auteurs: Linus Franke, Darius Rückert, Laura Fink, Marc Stamminger
cs.AI
Samenvatting
Point-based radiance field rendering heeft indrukwekkende resultaten laten zien voor nieuwe weergavesynthese, en biedt een overtuigende combinatie van renderkwaliteit en rekenkundige efficiëntie. Echter, ook de nieuwste benaderingen in dit domein zijn niet zonder hun tekortkomingen. 3D Gaussian Splatting [Kerbl en Kopanas et al. 2023] worstelt bij het renderen van zeer gedetailleerde scènes, vanwege vervaging en wazige artefacten. Aan de andere kant kan ADOP [Rückert et al. 2022] scherpere afbeeldingen verwerken, maar het neurale reconstructienetwerk vermindert de prestaties, het heeft moeite met temporele instabiliteit en het is niet in staat om grote gaten in de puntenwolk effectief aan te pakken.
In dit artikel presenteren we TRIPS (Trilinear Point Splatting), een benadering die ideeën combineert van zowel Gaussian Splatting als ADOP. Het fundamentele concept achter onze nieuwe techniek omvat het rasteriseren van punten in een beeldpiramide in schermruimte, waarbij de selectie van de piramidelaag wordt bepaald door de geprojecteerde puntgrootte. Deze benadering maakt het mogelijk om willekeurig grote punten te renderen met behulp van een enkele trilineaire schrijfbewerking. Vervolgens wordt een lichtgewicht neuraal netwerk gebruikt om een gatvrije afbeelding te reconstrueren, inclusief details die verder gaan dan de splat-resolutie. Belangrijk is dat onze renderpipeline volledig differentieerbaar is, waardoor automatische optimalisatie van zowel puntgroottes als posities mogelijk is.
Onze evaluatie toont aan dat TRIPS de bestaande state-of-the-art methoden overtreft wat betreft renderkwaliteit, terwijl een real-time framerate van 60 frames per seconde op algemeen beschikbare hardware wordt gehandhaafd. Deze prestaties strekken zich uit tot uitdagende scenario's, zoals scènes met ingewikkelde geometrie, uitgestrekte landschappen en auto-belichte beelden.
English
Point-based radiance field rendering has demonstrated impressive results for
novel view synthesis, offering a compelling blend of rendering quality and
computational efficiency. However, also latest approaches in this domain are
not without their shortcomings. 3D Gaussian Splatting [Kerbl and Kopanas et al.
2023] struggles when tasked with rendering highly detailed scenes, due to
blurring and cloudy artifacts. On the other hand, ADOP [R\"uckert et al. 2022]
can accommodate crisper images, but the neural reconstruction network decreases
performance, it grapples with temporal instability and it is unable to
effectively address large gaps in the point cloud.
In this paper, we present TRIPS (Trilinear Point Splatting), an approach that
combines ideas from both Gaussian Splatting and ADOP. The fundamental concept
behind our novel technique involves rasterizing points into a screen-space
image pyramid, with the selection of the pyramid layer determined by the
projected point size. This approach allows rendering arbitrarily large points
using a single trilinear write. A lightweight neural network is then used to
reconstruct a hole-free image including detail beyond splat resolution.
Importantly, our render pipeline is entirely differentiable, allowing for
automatic optimization of both point sizes and positions.
Our evaluation demonstrate that TRIPS surpasses existing state-of-the-art
methods in terms of rendering quality while maintaining a real-time frame rate
of 60 frames per second on readily available hardware. This performance extends
to challenging scenarios, such as scenes featuring intricate geometry,
expansive landscapes, and auto-exposed footage.