Melhorando a Robustez para a Otimização Conjunta de Poses de Câmera e Campos de Radiação Tensorial de Baixa Ordem Decompostos

Improving Robustness for Joint Optimization of Camera Poses and Decomposed Low-Rank Tensorial Radiance Fields

February 20, 2024

Autores: Bo-Yu Cheng, Wei-Chen Chiu, Yu-Lun Liu

cs.AI

Resumo

Neste artigo, propomos um algoritmo que permite o refinamento conjunto da pose da câmera e da geometria da cena representada por um tensor de baixa ordem decomposto, utilizando apenas imagens 2D como supervisão. Primeiro, conduzimos um estudo piloto baseado em um sinal 1D e relacionamos nossas descobertas a cenários 3D, onde a otimização conjunta ingênua da pose em NeRFs baseados em voxel pode facilmente levar a soluções subótimas. Além disso, com base na análise do espectro de frequência, propomos a aplicação de filtros gaussianos convolucionais em campos de radiação 2D e 3D para um esquema de treinamento de grosseiro a fino que possibilita a otimização conjunta da pose da câmera. Aproveitando a propriedade de decomposição no tensor de baixa ordem decomposto, nosso método alcança um efeito equivalente à convolução 3D de força bruta com apenas um pequeno custo computacional adicional. Para melhorar ainda mais a robustez e a estabilidade da otimização conjunta, também propomos técnicas de supervisão 2D suavizada, parâmetros de kernel escalados aleatoriamente e máscara de perda guiada por bordas. Avaliações quantitativas e qualitativas extensas demonstram que nosso framework proposto alcança desempenho superior na síntese de novas visões, bem como convergência rápida para a otimização.

English

In this paper, we propose an algorithm that allows joint refinement of camera pose and scene geometry represented by decomposed low-rank tensor, using only 2D images as supervision. First, we conduct a pilot study based on a 1D signal and relate our findings to 3D scenarios, where the naive joint pose optimization on voxel-based NeRFs can easily lead to sub-optimal solutions. Moreover, based on the analysis of the frequency spectrum, we propose to apply convolutional Gaussian filters on 2D and 3D radiance fields for a coarse-to-fine training schedule that enables joint camera pose optimization. Leveraging the decomposition property in decomposed low-rank tensor, our method achieves an equivalent effect to brute-force 3D convolution with only incurring little computational overhead. To further improve the robustness and stability of joint optimization, we also propose techniques of smoothed 2D supervision, randomly scaled kernel parameters, and edge-guided loss mask. Extensive quantitative and qualitative evaluations demonstrate that our proposed framework achieves superior performance in novel view synthesis as well as rapid convergence for optimization.