카메라 포즈와 분해된 저랭크 텐서 기반 광선장 필드의 결합 최적화를 위한 강건성 향상

초록

본 논문에서는 2D 이미지만을 지도 신호로 사용하여 분해된 저랭크 텐서로 표현된 카메라 포즈와 장면 기하학의 공동 정제를 가능하게 하는 알고리즘을 제안한다. 먼저, 1D 신호를 기반으로 한 파일럿 연구를 수행하고 이를 3D 시나리오와 연관지어, 복셀 기반 NeRF에서의 단순한 공동 포즈 최적화가 쉽게 차선의 해로 이어질 수 있음을 보인다. 또한, 주파수 스펙트럼 분석을 바탕으로 2D 및 3D 복사 필드에 컨볼루션 가우시안 필터를 적용하여 카메라 포즈 공동 최적화를 가능하게 하는 coarse-to-fine 학습 스케줄을 제안한다. 분해된 저랭크 텐서의 분해 특성을 활용함으로써, 제안 방법은 적은 계산 오버헤드만으로도 브루트 포스 3D 컨볼루션과 동등한 효과를 달성한다. 공동 최적화의 견고성과 안정성을 더욱 개선하기 위해, 평활화된 2D 지도 신호, 무작위로 스케일링된 커널 파라미터, 그리고 에지 가이드 손실 마스크 기법도 제안한다. 광범위한 정량적 및 정성적 평가를 통해 제안된 프레임워크가 새로운 시점 합성에서 우수한 성능을 달성할 뿐만 아니라 최적화를 위한 빠른 수렴을 보임을 입증한다.

English

In this paper, we propose an algorithm that allows joint refinement of camera pose and scene geometry represented by decomposed low-rank tensor, using only 2D images as supervision. First, we conduct a pilot study based on a 1D signal and relate our findings to 3D scenarios, where the naive joint pose optimization on voxel-based NeRFs can easily lead to sub-optimal solutions. Moreover, based on the analysis of the frequency spectrum, we propose to apply convolutional Gaussian filters on 2D and 3D radiance fields for a coarse-to-fine training schedule that enables joint camera pose optimization. Leveraging the decomposition property in decomposed low-rank tensor, our method achieves an equivalent effect to brute-force 3D convolution with only incurring little computational overhead. To further improve the robustness and stability of joint optimization, we also propose techniques of smoothed 2D supervision, randomly scaled kernel parameters, and edge-guided loss mask. Extensive quantitative and qualitative evaluations demonstrate that our proposed framework achieves superior performance in novel view synthesis as well as rapid convergence for optimization.

카메라 포즈와 분해된 저랭크 텐서 기반 광선장 필드의 결합 최적화를 위한 강건성 향상

Improving Robustness for Joint Optimization of Camera Poses and Decomposed Low-Rank Tensorial Radiance Fields

초록

Support