Campos Neurales de Radiancia en Espacio Latente Reconstructivo para Representaciones Eficientes de Escenas 3D

Resumen

Los Campos de Radiancia Neural (NeRFs, por sus siglas en inglés) han demostrado ser representaciones 3D potentes, capaces de sintetizar vistas novedosas de alta calidad en escenas complejas. Aunque los NeRFs se han aplicado en gráficos, visión y robótica, los problemas de velocidad de renderizado lenta y los artefactos visuales característicos impiden su adopción en muchos casos de uso. En este trabajo, investigamos la combinación de un autocodificador (AE) con un NeRF, en el cual se renderizan características latentes (en lugar de colores) que luego se decodifican convolucionalmente. El NeRF en espacio latente resultante puede producir vistas novedosas con mayor calidad que los NeRFs estándar en espacio de color, ya que el AE puede corregir ciertos artefactos visuales, mientras que el renderizado es más de tres veces más rápido. Nuestro trabajo es ortogonal a otras técnicas para mejorar la eficiencia de los NeRFs. Además, podemos controlar el equilibrio entre eficiencia y calidad de imagen reduciendo la arquitectura del AE, logrando un renderizado más de 13 veces más rápido con solo una pequeña disminución en el rendimiento. Esperamos que nuestro enfoque pueda formar la base de una representación de escenas 3D eficiente y de alta fidelidad para tareas posteriores, especialmente cuando es útil mantener la diferenciabilidad, como en muchos escenarios de robótica que requieren aprendizaje continuo.

English

Neural Radiance Fields (NeRFs) have proven to be powerful 3D representations, capable of high quality novel view synthesis of complex scenes. While NeRFs have been applied to graphics, vision, and robotics, problems with slow rendering speed and characteristic visual artifacts prevent adoption in many use cases. In this work, we investigate combining an autoencoder (AE) with a NeRF, in which latent features (instead of colours) are rendered and then convolutionally decoded. The resulting latent-space NeRF can produce novel views with higher quality than standard colour-space NeRFs, as the AE can correct certain visual artifacts, while rendering over three times faster. Our work is orthogonal to other techniques for improving NeRF efficiency. Further, we can control the tradeoff between efficiency and image quality by shrinking the AE architecture, achieving over 13 times faster rendering with only a small drop in performance. We hope that our approach can form the basis of an efficient, yet high-fidelity, 3D scene representation for downstream tasks, especially when retaining differentiability is useful, as in many robotics scenarios requiring continual learning.

Campos Neurales de Radiancia en Espacio Latente Reconstructivo para Representaciones Eficientes de Escenas 3D

Reconstructive Latent-Space Neural Radiance Fields for Efficient 3D Scene Representations

Resumen

Support