Реконструктивные нейронные поля излучения в латентном пространстве для эффективного представления 3D-сцен

Reconstructive Latent-Space Neural Radiance Fields for Efficient 3D Scene Representations

October 27, 2023

Авторы: Tristan Aumentado-Armstrong, Ashkan Mirzaei, Marcus A. Brubaker, Jonathan Kelly, Alex Levinshtein, Konstantinos G. Derpanis, Igor Gilitschenski

cs.AI

Аннотация

Нейронные поля излучения (NeRF) доказали свою эффективность как мощные 3D-представления, способные синтезировать новые виды сложных сцен с высоким качеством. Хотя NeRF нашли применение в графике, компьютерном зрении и робототехнике, проблемы с медленной скоростью рендеринга и характерными визуальными артефактами препятствуют их использованию во многих сценариях. В данной работе мы исследуем комбинацию автоэнкодера (AE) с NeRF, в которой рендерятся латентные признаки (вместо цветов), а затем они декодируются с помощью сверточных слоев. Полученный NeRF в латентном пространстве способен создавать новые виды с более высоким качеством, чем стандартные NeRF в цветовом пространстве, так как AE может исправлять определенные визуальные артефакты, при этом рендеринг происходит более чем в три раза быстрее. Наша работа ортогональна другим методам повышения эффективности NeRF. Кроме того, мы можем управлять компромиссом между эффективностью и качеством изображения, уменьшая архитектуру AE, достигая более чем 13-кратного ускорения рендеринга при незначительном снижении производительности. Мы надеемся, что наш подход может стать основой для эффективного, но высокоточного 3D-представления сцен для последующих задач, особенно когда важно сохранить дифференцируемость, как во многих сценариях робототехники, требующих непрерывного обучения.

English

Neural Radiance Fields (NeRFs) have proven to be powerful 3D representations, capable of high quality novel view synthesis of complex scenes. While NeRFs have been applied to graphics, vision, and robotics, problems with slow rendering speed and characteristic visual artifacts prevent adoption in many use cases. In this work, we investigate combining an autoencoder (AE) with a NeRF, in which latent features (instead of colours) are rendered and then convolutionally decoded. The resulting latent-space NeRF can produce novel views with higher quality than standard colour-space NeRFs, as the AE can correct certain visual artifacts, while rendering over three times faster. Our work is orthogonal to other techniques for improving NeRF efficiency. Further, we can control the tradeoff between efficiency and image quality by shrinking the AE architecture, achieving over 13 times faster rendering with only a small drop in performance. We hope that our approach can form the basis of an efficient, yet high-fidelity, 3D scene representation for downstream tasks, especially when retaining differentiability is useful, as in many robotics scenarios requiring continual learning.