TRIPS: Trilineare Punkt-Splatting für Echtzeit-Rendering von Radiance Fields

TRIPS: Trilinear Point Splatting for Real-Time Radiance Field Rendering

January 11, 2024

Autoren: Linus Franke, Darius Rückert, Laura Fink, Marc Stamminger

cs.AI

Zusammenfassung

Das Rendern von Radiance Fields auf Punktbasis hat beeindruckende Ergebnisse bei der Synthese neuer Ansichten gezeigt und bietet eine überzeugende Mischung aus Renderqualität und Recheneffizienz. Allerdings sind auch die neuesten Ansätze in diesem Bereich nicht ohne Schwächen. 3D Gaussian Splatting [Kerbl und Kopanas et al. 2023] kämpft mit Problemen bei der Darstellung hochdetaillierter Szenen, da es zu Unschärfen und wolkenartigen Artefakten kommt. Andererseits kann ADOP [Rückert et al. 2022] schärfere Bilder erzeugen, aber das neuronale Rekonstruktionsnetzwerk beeinträchtigt die Leistung, es hat mit zeitlicher Instabilität zu kämpfen und kann große Lücken in der Punktwolke nicht effektiv bewältigen. In diesem Artikel präsentieren wir TRIPS (Trilinear Point Splatting), einen Ansatz, der Ideen aus sowohl Gaussian Splatting als auch ADOP kombiniert. Das grundlegende Konzept unserer neuartigen Technik besteht darin, Punkte in eine Bildpyramide im Bildschirmraum zu rasterisieren, wobei die Auswahl der Pyramidenschicht durch die projizierte Punktgröße bestimmt wird. Dieser Ansatz ermöglicht das Rendern beliebig großer Punkte mit einem einzigen trilinearen Schreibvorgang. Ein leichtgewichtiges neuronales Netzwerk wird dann verwendet, um ein lochfreies Bild zu rekonstruieren, das Details über die Splat-Auflösung hinaus enthält. Wichtig ist, dass unsere Render-Pipeline vollständig differenzierbar ist, was eine automatische Optimierung sowohl der Punktgrößen als auch der Positionen ermöglicht. Unsere Auswertungen zeigen, dass TRIPS die bestehenden State-of-the-Art-Methoden in Bezug auf die Renderqualität übertrifft, während eine Echtzeit-Bildrate von 60 Bildern pro Sekunde auf leicht verfügbarer Hardware aufrechterhalten wird. Diese Leistung erstreckt sich auch auf anspruchsvolle Szenarien, wie Szenen mit komplexer Geometrie, weitläufigen Landschaften und automatisch belichteten Aufnahmen.

English

Point-based radiance field rendering has demonstrated impressive results for novel view synthesis, offering a compelling blend of rendering quality and computational efficiency. However, also latest approaches in this domain are not without their shortcomings. 3D Gaussian Splatting [Kerbl and Kopanas et al. 2023] struggles when tasked with rendering highly detailed scenes, due to blurring and cloudy artifacts. On the other hand, ADOP [R\"uckert et al. 2022] can accommodate crisper images, but the neural reconstruction network decreases performance, it grapples with temporal instability and it is unable to effectively address large gaps in the point cloud. In this paper, we present TRIPS (Trilinear Point Splatting), an approach that combines ideas from both Gaussian Splatting and ADOP. The fundamental concept behind our novel technique involves rasterizing points into a screen-space image pyramid, with the selection of the pyramid layer determined by the projected point size. This approach allows rendering arbitrarily large points using a single trilinear write. A lightweight neural network is then used to reconstruct a hole-free image including detail beyond splat resolution. Importantly, our render pipeline is entirely differentiable, allowing for automatic optimization of both point sizes and positions. Our evaluation demonstrate that TRIPS surpasses existing state-of-the-art methods in terms of rendering quality while maintaining a real-time frame rate of 60 frames per second on readily available hardware. This performance extends to challenging scenarios, such as scenes featuring intricate geometry, expansive landscapes, and auto-exposed footage.