TRIPS : Projection Trilinéaire de Points pour le Rendu en Temps Réel de Champs de Radiance

TRIPS: Trilinear Point Splatting for Real-Time Radiance Field Rendering

January 11, 2024

Auteurs: Linus Franke, Darius Rückert, Laura Fink, Marc Stamminger

cs.AI

Résumé

Le rendu de champs de radiance basé sur des points a démontré des résultats impressionnants pour la synthèse de nouvelles vues, offrant un mélange convaincant de qualité de rendu et d'efficacité computationnelle. Cependant, même les approches les plus récentes dans ce domaine ne sont pas sans défauts. La technique de *3D Gaussian Splatting* [Kerbl et Kopanas et al. 2023] rencontre des difficultés pour restituer des scènes hautement détaillées, en raison d'artefacts de flou et de nuages. D'autre part, *ADOP* [Rückert et al. 2022] permet d'obtenir des images plus nettes, mais le réseau de reconstruction neuronale réduit les performances, souffre d'instabilité temporelle et ne parvient pas à combler efficacement les grands vides dans le nuage de points. Dans cet article, nous présentons *TRIPS* (*Trilinear Point Splatting*), une approche qui combine des idées issues à la fois de *Gaussian Splatting* et d'*ADOP*. Le concept fondamental de notre nouvelle technique consiste à rastériser les points dans une pyramide d'images en espace écran, où la sélection de la couche de la pyramide est déterminée par la taille projetée du point. Cette approche permet de restituer des points de taille arbitrairement grande en utilisant une seule écriture trilinéaire. Un réseau neuronal léger est ensuite utilisé pour reconstruire une image sans trous, incluant des détails au-delà de la résolution des splats. Il est important de noter que notre pipeline de rendu est entièrement différentiable, permettant l'optimisation automatique à la fois des tailles et des positions des points. Notre évaluation démontre que *TRIPS* surpasse les méthodes état de l'art existantes en termes de qualité de rendu tout en maintenant un taux de rafraîchissement en temps réel de 60 images par seconde sur du matériel facilement accessible. Cette performance s'étend à des scénarios complexes, tels que des scènes présentant une géométrie intricate, des paysages expansifs et des séquences à exposition automatique.

English

Point-based radiance field rendering has demonstrated impressive results for novel view synthesis, offering a compelling blend of rendering quality and computational efficiency. However, also latest approaches in this domain are not without their shortcomings. 3D Gaussian Splatting [Kerbl and Kopanas et al. 2023] struggles when tasked with rendering highly detailed scenes, due to blurring and cloudy artifacts. On the other hand, ADOP [R\"uckert et al. 2022] can accommodate crisper images, but the neural reconstruction network decreases performance, it grapples with temporal instability and it is unable to effectively address large gaps in the point cloud. In this paper, we present TRIPS (Trilinear Point Splatting), an approach that combines ideas from both Gaussian Splatting and ADOP. The fundamental concept behind our novel technique involves rasterizing points into a screen-space image pyramid, with the selection of the pyramid layer determined by the projected point size. This approach allows rendering arbitrarily large points using a single trilinear write. A lightweight neural network is then used to reconstruct a hole-free image including detail beyond splat resolution. Importantly, our render pipeline is entirely differentiable, allowing for automatic optimization of both point sizes and positions. Our evaluation demonstrate that TRIPS surpasses existing state-of-the-art methods in terms of rendering quality while maintaining a real-time frame rate of 60 frames per second on readily available hardware. This performance extends to challenging scenarios, such as scenes featuring intricate geometry, expansive landscapes, and auto-exposed footage.