TRIPS: Proyección de Puntos Trilineales para la Representación de Campos de Radiancia en Tiempo Real

TRIPS: Trilinear Point Splatting for Real-Time Radiance Field Rendering

January 11, 2024

Autores: Linus Franke, Darius Rückert, Laura Fink, Marc Stamminger

cs.AI

Resumen

El renderizado de campos de radiancia basado en puntos ha demostrado resultados impresionantes para la síntesis de nuevas vistas, ofreciendo una combinación convincente de calidad de renderizado y eficiencia computacional. Sin embargo, incluso los enfoques más recientes en este dominio no están exentos de limitaciones. El método de 3D Gaussian Splatting [Kerbl y Kopanas et al. 2023] enfrenta dificultades al renderizar escenas altamente detalladas, debido a artefactos de desenfoque y apariencia nebulosa. Por otro lado, ADOP [Rückert et al. 2022] puede generar imágenes más nítidas, pero la red de reconstrucción neuronal reduce el rendimiento, presenta inestabilidad temporal y no logra abordar eficazmente grandes vacíos en la nube de puntos. En este artículo, presentamos TRIPS (Trilinear Point Splatting), un enfoque que combina ideas tanto de Gaussian Splatting como de ADOP. El concepto fundamental detrás de nuestra novedosa técnica implica rasterizar puntos en una pirámide de imágenes en el espacio de pantalla, donde la selección del nivel de la pirámide se determina por el tamaño proyectado del punto. Este enfoque permite renderizar puntos arbitrariamente grandes utilizando una única escritura trilineal. Luego, se emplea una red neuronal ligera para reconstruir una imagen sin huecos, incluyendo detalles que van más allá de la resolución del splat. Es importante destacar que nuestra canalización de renderizado es completamente diferenciable, lo que permite la optimización automática tanto de los tamaños como de las posiciones de los puntos. Nuestra evaluación demuestra que TRIPS supera a los métodos más avanzados existentes en términos de calidad de renderizado, manteniendo una tasa de fotogramas en tiempo real de 60 fotogramas por segundo en hardware fácilmente disponible. Este rendimiento se extiende a escenarios desafiantes, como escenas con geometría intrincada, paisajes extensos y material con exposición automática.

English

Point-based radiance field rendering has demonstrated impressive results for novel view synthesis, offering a compelling blend of rendering quality and computational efficiency. However, also latest approaches in this domain are not without their shortcomings. 3D Gaussian Splatting [Kerbl and Kopanas et al. 2023] struggles when tasked with rendering highly detailed scenes, due to blurring and cloudy artifacts. On the other hand, ADOP [R\"uckert et al. 2022] can accommodate crisper images, but the neural reconstruction network decreases performance, it grapples with temporal instability and it is unable to effectively address large gaps in the point cloud. In this paper, we present TRIPS (Trilinear Point Splatting), an approach that combines ideas from both Gaussian Splatting and ADOP. The fundamental concept behind our novel technique involves rasterizing points into a screen-space image pyramid, with the selection of the pyramid layer determined by the projected point size. This approach allows rendering arbitrarily large points using a single trilinear write. A lightweight neural network is then used to reconstruct a hole-free image including detail beyond splat resolution. Importantly, our render pipeline is entirely differentiable, allowing for automatic optimization of both point sizes and positions. Our evaluation demonstrate that TRIPS surpasses existing state-of-the-art methods in terms of rendering quality while maintaining a real-time frame rate of 60 frames per second on readily available hardware. This performance extends to challenging scenarios, such as scenes featuring intricate geometry, expansive landscapes, and auto-exposed footage.