Reconstructieve Latente-Ruimte Neurale Radiance Velden voor Efficiënte 3D-Scène Representaties

Reconstructive Latent-Space Neural Radiance Fields for Efficient 3D Scene Representations

October 27, 2023

Auteurs: Tristan Aumentado-Armstrong, Ashkan Mirzaei, Marcus A. Brubaker, Jonathan Kelly, Alex Levinshtein, Konstantinos G. Derpanis, Igor Gilitschenski

cs.AI

Samenvatting

Neural Radiance Fields (NeRFs) hebben zich bewezen als krachtige 3D-representaties, in staat tot hoogwaardige synthese van nieuwe aanzichten van complexe scènes. Hoewel NeRFs zijn toegepast in grafische toepassingen, computervisie en robotica, verhinderen problemen met trage renderingsnelheden en karakteristieke visuele artefacten de adoptie in veel gebruiksscenario's. In dit werk onderzoeken we de combinatie van een autoencoder (AE) met een NeRF, waarbij latente kenmerken (in plaats van kleuren) worden gerenderd en vervolgens convolutioneel worden gedecodeerd. De resulterende latent-space NeRF kan nieuwe aanzichten produceren met een hogere kwaliteit dan standaard kleurruimte NeRFs, aangezien de AE bepaalde visuele artefacten kan corrigeren, terwijl het renderen meer dan drie keer zo snel verloopt. Ons werk staat los van andere technieken voor het verbeteren van de efficiëntie van NeRFs. Verder kunnen we de afweging tussen efficiëntie en beeldkwaliteit beheersen door de AE-architectuur te verkleinen, waardoor we een meer dan 13 keer snellere rendering bereiken met slechts een kleine prestatievermindering. We hopen dat onze aanpak de basis kan vormen voor een efficiënte, maar toch hoogwaardige 3D-scène-representatie voor downstream taken, vooral wanneer het behouden van differentieerbaarheid nuttig is, zoals in veel robotica-scenario's die continue leren vereisen.

English

Neural Radiance Fields (NeRFs) have proven to be powerful 3D representations, capable of high quality novel view synthesis of complex scenes. While NeRFs have been applied to graphics, vision, and robotics, problems with slow rendering speed and characteristic visual artifacts prevent adoption in many use cases. In this work, we investigate combining an autoencoder (AE) with a NeRF, in which latent features (instead of colours) are rendered and then convolutionally decoded. The resulting latent-space NeRF can produce novel views with higher quality than standard colour-space NeRFs, as the AE can correct certain visual artifacts, while rendering over three times faster. Our work is orthogonal to other techniques for improving NeRF efficiency. Further, we can control the tradeoff between efficiency and image quality by shrinking the AE architecture, achieving over 13 times faster rendering with only a small drop in performance. We hope that our approach can form the basis of an efficient, yet high-fidelity, 3D scene representation for downstream tasks, especially when retaining differentiability is useful, as in many robotics scenarios requiring continual learning.