능동 신경 매핑

초록

지속적으로 학습되는 신경망 기반 장면 표현, 즉 Active Neural Mapping을 활용한 능동적 매핑 문제를 다룬다. 핵심은 이전에 보지 못한 환경 내에서 에이전트의 효율적인 이동을 통해 탐색할 대상 공간을 능동적으로 찾아내어, 실시간으로 지도 불확실성을 최소화하는 데 있다. 본 논문에서는 지속적으로 학습되는 신경망 필드의 가중치 공간을 분석하고, 신경망 변동성(가중치에 대한 무작위 섭동에 대한 예측 강건성)이 신경망 지도의 순간 불확실성을 직접 측정하는 데 활용될 수 있음을 실증적으로 보인다. 신경망 지도에 내재된 연속적인 기하학적 정보와 함께, 이 접근법은 에이전트가 환경에 대한 지식을 점진적으로 습득할 수 있는 이동 가능 경로를 찾도록 안내한다. 본 연구는 온라인 장면 재구성을 위한 좌표 기반 암묵적 신경망 표현을 활용한 능동적 매핑 시스템을 최초로 제안한다. 시각적으로 현실적인 Gibson 및 Matterport3D 환경에서의 실험을 통해 제안 방법의 효용성을 입증한다.

English

We address the problem of active mapping with a continually-learned neural scene representation, namely Active Neural Mapping. The key lies in actively finding the target space to be explored with efficient agent movement, thus minimizing the map uncertainty on-the-fly within a previously unseen environment. In this paper, we examine the weight space of the continually-learned neural field, and show empirically that the neural variability, the prediction robustness against random weight perturbation, can be directly utilized to measure the instant uncertainty of the neural map. Together with the continuous geometric information inherited in the neural map, the agent can be guided to find a traversable path to gradually gain knowledge of the environment. We present for the first time an active mapping system with a coordinate-based implicit neural representation for online scene reconstruction. Experiments in the visually-realistic Gibson and Matterport3D environment demonstrate the efficacy of the proposed method.