Rekonstruktive Latent-Space Neural Radiance Fields für effiziente 3D-Szenendarstellungen

Reconstructive Latent-Space Neural Radiance Fields for Efficient 3D Scene Representations

October 27, 2023

papers.authors: Tristan Aumentado-Armstrong, Ashkan Mirzaei, Marcus A. Brubaker, Jonathan Kelly, Alex Levinshtein, Konstantinos G. Derpanis, Igor Gilitschenski

cs.AI

papers.abstract

Neural Radiance Fields (NeRFs) haben sich als leistungsstarke 3D-Repräsentationen erwiesen, die in der Lage sind, hochwertige Neuansichten komplexer Szenen zu synthetisieren. Obwohl NeRFs in den Bereichen Grafik, Computer Vision und Robotik Anwendung gefunden haben, verhindern Probleme mit langsamer Rendering-Geschwindigkeit und charakteristischen visuellen Artefakten die Übernahme in vielen Anwendungsfällen. In dieser Arbeit untersuchen wir die Kombination eines Autoencoders (AE) mit einem NeRF, bei dem latente Merkmale (anstelle von Farben) gerendert und anschließend konvolutionell decodiert werden. Der daraus resultierende Latent-Space-NeRF kann Neuansichten mit höherer Qualität als standardmäßige Farbraum-NeRFs erzeugen, da der AE bestimmte visuelle Artefakte korrigieren kann, während das Rendering mehr als dreimal schneller erfolgt. Unsere Arbeit ist orthogonal zu anderen Techniken zur Verbesserung der Effizienz von NeRFs. Darüber hinaus können wir den Kompromiss zwischen Effizienz und Bildqualität steuern, indem wir die AE-Architektur verkleinern und so eine über 13-mal schnellere Rendering-Geschwindigkeit bei nur geringem Leistungsabfall erreichen. Wir hoffen, dass unser Ansatz die Grundlage für eine effiziente, aber dennoch hochwertige 3D-Szenendarstellung für nachgelagerte Aufgaben bilden kann, insbesondere wenn die Beibehaltung der Differenzierbarkeit nützlich ist, wie in vielen Robotik-Szenarien, die kontinuierliches Lernen erfordern.

English

Neural Radiance Fields (NeRFs) have proven to be powerful 3D representations, capable of high quality novel view synthesis of complex scenes. While NeRFs have been applied to graphics, vision, and robotics, problems with slow rendering speed and characteristic visual artifacts prevent adoption in many use cases. In this work, we investigate combining an autoencoder (AE) with a NeRF, in which latent features (instead of colours) are rendered and then convolutionally decoded. The resulting latent-space NeRF can produce novel views with higher quality than standard colour-space NeRFs, as the AE can correct certain visual artifacts, while rendering over three times faster. Our work is orthogonal to other techniques for improving NeRF efficiency. Further, we can control the tradeoff between efficiency and image quality by shrinking the AE architecture, achieving over 13 times faster rendering with only a small drop in performance. We hope that our approach can form the basis of an efficient, yet high-fidelity, 3D scene representation for downstream tasks, especially when retaining differentiability is useful, as in many robotics scenarios requiring continual learning.