ICON: Confiança Incremental para Otimização Conjunta de Pose e Campo de Radiação

ICON: Incremental CONfidence for Joint Pose and Radiance Field Optimization

January 17, 2024

Autores: Weiyao Wang, Pierre Gleize, Hao Tang, Xingyu Chen, Kevin J Liang, Matt Feiszli

cs.AI

Resumo

Campos de Radiação Neural (NeRF) demonstram desempenho notável para Síntese de Novas Visões (NVS) a partir de um conjunto de imagens 2D. No entanto, o treinamento do NeRF requer poses de câmera precisas para cada visão de entrada, geralmente obtidas por pipelines de Estrutura a partir de Movimento (SfM). Trabalhos recentes tentaram relaxar essa restrição, mas ainda dependem frequentemente de poses iniciais razoáveis que podem ser refinadas. Aqui, nosso objetivo é eliminar a necessidade de inicialização de poses. Apresentamos o Incremental CONfidence (ICON), um procedimento de otimização para treinar NeRFs a partir de frames de vídeo 2D. O ICON assume apenas movimento suave da câmera para estimar uma suposição inicial das poses. Além disso, o ICON introduz "confiança": uma medida adaptativa da qualidade do modelo usada para reajustar dinamicamente os gradientes. O ICON depende de poses de alta confiança para aprender o NeRF e de estruturas 3D de alta confiança (codificadas pelo NeRF) para aprender as poses. Mostramos que o ICON, sem inicialização prévia de poses, alcança desempenho superior tanto no CO3D quanto no HO3D em comparação com métodos que utilizam poses SfM.

English

Neural Radiance Fields (NeRF) exhibit remarkable performance for Novel View Synthesis (NVS) given a set of 2D images. However, NeRF training requires accurate camera pose for each input view, typically obtained by Structure-from-Motion (SfM) pipelines. Recent works have attempted to relax this constraint, but they still often rely on decent initial poses which they can refine. Here we aim at removing the requirement for pose initialization. We present Incremental CONfidence (ICON), an optimization procedure for training NeRFs from 2D video frames. ICON only assumes smooth camera motion to estimate initial guess for poses. Further, ICON introduces ``confidence": an adaptive measure of model quality used to dynamically reweight gradients. ICON relies on high-confidence poses to learn NeRF, and high-confidence 3D structure (as encoded by NeRF) to learn poses. We show that ICON, without prior pose initialization, achieves superior performance in both CO3D and HO3D versus methods which use SfM pose.