다중 공간 신경 방사 필드

초록

기존의 Neural Radiance Fields (NeRF) 방법들은 반사체가 존재할 경우 흐릿하거나 왜곡된 렌더링 결과를 초래하는 문제가 있습니다. 단일 radiance field를 계산하는 대신, 우리는 병렬 서브 공간들에서 그룹화된 feature field를 사용하여 장면을 표현하는 multi-space neural radiance field (MS-NeRF)를 제안합니다. 이는 신경망이 반사체와 굴절체의 존재를 더 잘 이해할 수 있도록 돕습니다. 우리의 multi-space 방식은 기존 NeRF 방법들의 성능을 향상시키는 역할을 하며, 추가 공간 출력을 학습하고 추론하는 데 필요한 계산 오버헤드는 매우 작습니다. 우리는 NeRF, Mip-NeRF, Mip-NeRF 360이라는 세 가지 대표적인 NeRF 기반 모델을 사용하여 우리 접근법의 우수성과 호환성을 입증합니다. 비교는 복잡한 반사와 굴절이 포함된 25개의 합성 장면과 7개의 실제 촬영 장면으로 구성된 새로운 데이터셋에서 수행되며, 모든 장면은 360도 시점을 가지고 있습니다. 광범위한 실험을 통해 우리의 접근법이 거울 같은 물체를 통과하는 복잡한 광경로와 관련된 고품질 장면 렌더링에서 기존의 단일 공간 NeRF 방법들을 크게 능가함을 보여줍니다. 우리의 코드와 데이터셋은 https://zx-yin.github.io/msnerf에서 공개될 예정입니다.

English

Existing Neural Radiance Fields (NeRF) methods suffer from the existence of reflective objects, often resulting in blurry or distorted rendering. Instead of calculating a single radiance field, we propose a multi-space neural radiance field (MS-NeRF) that represents the scene using a group of feature fields in parallel sub-spaces, which leads to a better understanding of the neural network toward the existence of reflective and refractive objects. Our multi-space scheme works as an enhancement to existing NeRF methods, with only small computational overheads needed for training and inferring the extra-space outputs. We demonstrate the superiority and compatibility of our approach using three representative NeRF-based models, i.e., NeRF, Mip-NeRF, and Mip-NeRF 360. Comparisons are performed on a novelly constructed dataset consisting of 25 synthetic scenes and 7 real captured scenes with complex reflection and refraction, all having 360-degree viewpoints. Extensive experiments show that our approach significantly outperforms the existing single-space NeRF methods for rendering high-quality scenes concerned with complex light paths through mirror-like objects. Our code and dataset will be publicly available at https://zx-yin.github.io/msnerf.

다중 공간 신경 방사 필드

Multi-Space Neural Radiance Fields

초록

Support