효율적인 3D 장면 표현을 위한 재구성적 잠재 공간 신경 방사 필드

초록

Neural Radiance Fields(NeRFs)는 복잡한 장면의 고품질 새로운 시점 합성을 가능하게 하는 강력한 3D 표현 방식으로 입증되었습니다. NeRFs는 그래픽스, 비전, 로보틱스 분야에 적용되어 왔지만, 느린 렌더링 속도와 특유의 시각적 아티팩트 문제로 인해 많은 사용 사례에서의 채택이 제한되고 있습니다. 본 연구에서는 NeRF와 오토인코더(AE)를 결합하여, 색상 대신 잠재 특징(latent features)을 렌더링한 후 컨볼루션 디코딩하는 방식을 탐구합니다. 이렇게 구현된 잠재 공간 NeRF는 표준 색상 공간 NeRF보다 더 높은 품질의 새로운 시점을 생성할 수 있으며, AE가 특정 시각적 아티팩트를 수정할 수 있고 렌더링 속도가 3배 이상 빠릅니다. 우리의 연구는 NeRF 효율성을 개선하는 다른 기법들과 직교적입니다. 또한, AE 아키텍처를 축소함으로써 효율성과 이미지 품질 간의 트레이드오프를 제어할 수 있으며, 성능 저하가 거의 없는 상태에서 렌더링 속도를 13배 이상 향상시킬 수 있습니다. 우리는 이 접근법이 특히 미분 가능성을 유지해야 하는 로보틱스 시나리오와 같은 지속 학습이 필요한 다운스트림 작업을 위한 효율적이면서도 고충실도의 3D 장면 표현의 기반이 될 수 있기를 기대합니다.

English

Neural Radiance Fields (NeRFs) have proven to be powerful 3D representations, capable of high quality novel view synthesis of complex scenes. While NeRFs have been applied to graphics, vision, and robotics, problems with slow rendering speed and characteristic visual artifacts prevent adoption in many use cases. In this work, we investigate combining an autoencoder (AE) with a NeRF, in which latent features (instead of colours) are rendered and then convolutionally decoded. The resulting latent-space NeRF can produce novel views with higher quality than standard colour-space NeRFs, as the AE can correct certain visual artifacts, while rendering over three times faster. Our work is orthogonal to other techniques for improving NeRF efficiency. Further, we can control the tradeoff between efficiency and image quality by shrinking the AE architecture, achieving over 13 times faster rendering with only a small drop in performance. We hope that our approach can form the basis of an efficient, yet high-fidelity, 3D scene representation for downstream tasks, especially when retaining differentiability is useful, as in many robotics scenarios requiring continual learning.

효율적인 3D 장면 표현을 위한 재구성적 잠재 공간 신경 방사 필드

Reconstructive Latent-Space Neural Radiance Fields for Efficient 3D Scene Representations

초록

Support