ICON: Incremento della CONfidenza per l'Ottimizzazione Congiunta della Posa e del Campo di Radianza

ICON: Incremental CONfidence for Joint Pose and Radiance Field Optimization

January 17, 2024

Autori: Weiyao Wang, Pierre Gleize, Hao Tang, Xingyu Chen, Kevin J Liang, Matt Feiszli

cs.AI

Abstract

I Neural Radiance Fields (NeRF) dimostrano prestazioni eccezionali nella Sintesi di Nuove Visualizzazioni (NVS) a partire da un insieme di immagini 2D. Tuttavia, l'addestramento di NeRF richiede pose della fotocamera accurate per ciascuna vista di input, tipicamente ottenute tramite pipeline di Structure-from-Motion (SfM). Recenti lavori hanno cercato di rilassare questo vincolo, ma spesso continuano a dipendere da pose iniziali decenti che possono essere affinate. In questo lavoro, miriamo a eliminare la necessità di un'inizializzazione delle pose. Presentiamo Incremental CONfidence (ICON), una procedura di ottimizzazione per l'addestramento di NeRF a partire da fotogrammi di video 2D. ICON assume solo un movimento fluido della fotocamera per stimare un'ipotesi iniziale delle pose. Inoltre, ICON introduce il concetto di "confidenza": una misura adattativa della qualità del modello utilizzata per ponderare dinamicamente i gradienti. ICON si affida a pose ad alta confidenza per apprendere il NeRF e a una struttura 3D ad alta confidenza (codificata dal NeRF) per apprendere le pose. Dimostriamo che ICON, senza un'inizializzazione preliminare delle pose, raggiunge prestazioni superiori sia in CO3D che in HO3D rispetto ai metodi che utilizzano pose ottenute tramite SfM.

English

Neural Radiance Fields (NeRF) exhibit remarkable performance for Novel View Synthesis (NVS) given a set of 2D images. However, NeRF training requires accurate camera pose for each input view, typically obtained by Structure-from-Motion (SfM) pipelines. Recent works have attempted to relax this constraint, but they still often rely on decent initial poses which they can refine. Here we aim at removing the requirement for pose initialization. We present Incremental CONfidence (ICON), an optimization procedure for training NeRFs from 2D video frames. ICON only assumes smooth camera motion to estimate initial guess for poses. Further, ICON introduces ``confidence": an adaptive measure of model quality used to dynamically reweight gradients. ICON relies on high-confidence poses to learn NeRF, and high-confidence 3D structure (as encoded by NeRF) to learn poses. We show that ICON, without prior pose initialization, achieves superior performance in both CO3D and HO3D versus methods which use SfM pose.