Champs de Radiance Neuronaux à Espace Latent Reconstructif pour des Représentations 3D Efficaces

papers.abstract

Les champs de radiance neuronaux (NeRFs) se sont avérés être des représentations 3D puissantes, capables de synthétiser des vues nouvelles de haute qualité pour des scènes complexes. Bien que les NeRFs aient été appliqués à l’infographie, la vision et la robotique, les problèmes de lenteur de rendu et d’artefacts visuels caractéristiques limitent leur adoption dans de nombreux cas d’utilisation. Dans ce travail, nous explorons la combinaison d’un autoencodeur (AE) avec un NeRF, où des caractéristiques latentes (au lieu des couleurs) sont rendues puis décodées par convolution. Le NeRF dans l’espace latent qui en résulte peut produire des vues nouvelles de qualité supérieure à celle des NeRFs standards dans l’espace des couleurs, car l’AE peut corriger certains artefacts visuels, tout en rendant plus de trois fois plus rapidement. Notre approche est orthogonale aux autres techniques visant à améliorer l’efficacité des NeRFs. De plus, nous pouvons contrôler le compromis entre efficacité et qualité d’image en réduisant l’architecture de l’AE, obtenant ainsi un rendu plus de 13 fois plus rapide avec seulement une légère baisse de performance. Nous espérons que notre méthode pourra constituer la base d’une représentation 3D efficace et fidèle pour des tâches en aval, en particulier lorsque la conservation de la différentiabilité est utile, comme dans de nombreux scénarios robotiques nécessitant un apprentissage continu.

English

Neural Radiance Fields (NeRFs) have proven to be powerful 3D representations, capable of high quality novel view synthesis of complex scenes. While NeRFs have been applied to graphics, vision, and robotics, problems with slow rendering speed and characteristic visual artifacts prevent adoption in many use cases. In this work, we investigate combining an autoencoder (AE) with a NeRF, in which latent features (instead of colours) are rendered and then convolutionally decoded. The resulting latent-space NeRF can produce novel views with higher quality than standard colour-space NeRFs, as the AE can correct certain visual artifacts, while rendering over three times faster. Our work is orthogonal to other techniques for improving NeRF efficiency. Further, we can control the tradeoff between efficiency and image quality by shrinking the AE architecture, achieving over 13 times faster rendering with only a small drop in performance. We hope that our approach can form the basis of an efficient, yet high-fidelity, 3D scene representation for downstream tasks, especially when retaining differentiability is useful, as in many robotics scenarios requiring continual learning.

Champs de Radiance Neuronaux à Espace Latent Reconstructif pour des Représentations 3D Efficaces

Reconstructive Latent-Space Neural Radiance Fields for Efficient 3D Scene Representations

papers.abstract

Support