ICON: CONfianza Incremental para la Optimización Conjunta de Pose y Campo de Radiancia

ICON: Incremental CONfidence for Joint Pose and Radiance Field Optimization

January 17, 2024

Autores: Weiyao Wang, Pierre Gleize, Hao Tang, Xingyu Chen, Kevin J Liang, Matt Feiszli

cs.AI

Resumen

Los Campos de Radiancia Neural (NeRF) exhiben un rendimiento notable para la Síntesis de Nuevas Vistas (NVS) dado un conjunto de imágenes 2D. Sin embargo, el entrenamiento de NeRF requiere poses de cámara precisas para cada vista de entrada, que generalmente se obtienen mediante pipelines de Estructura a partir del Movimiento (SfM). Trabajos recientes han intentado relajar esta restricción, pero aún suelen depender de poses iniciales decentes que pueden refinar. Aquí buscamos eliminar el requisito de inicialización de poses. Presentamos ICON (CONfianza INcremental), un procedimiento de optimización para entrenar NeRF a partir de fotogramas de video 2D. ICON solo asume un movimiento suave de la cámara para estimar una suposición inicial de las poses. Además, ICON introduce la "confianza": una medida adaptativa de la calidad del modelo utilizada para reajustar dinámicamente los gradientes. ICON se basa en poses de alta confianza para aprender NeRF y en una estructura 3D de alta confianza (codificada por NeRF) para aprender poses. Demostramos que ICON, sin inicialización previa de poses, logra un rendimiento superior tanto en CO3D como en HO3D en comparación con los métodos que utilizan poses de SfM.

English

Neural Radiance Fields (NeRF) exhibit remarkable performance for Novel View Synthesis (NVS) given a set of 2D images. However, NeRF training requires accurate camera pose for each input view, typically obtained by Structure-from-Motion (SfM) pipelines. Recent works have attempted to relax this constraint, but they still often rely on decent initial poses which they can refine. Here we aim at removing the requirement for pose initialization. We present Incremental CONfidence (ICON), an optimization procedure for training NeRFs from 2D video frames. ICON only assumes smooth camera motion to estimate initial guess for poses. Further, ICON introduces ``confidence": an adaptive measure of model quality used to dynamically reweight gradients. ICON relies on high-confidence poses to learn NeRF, and high-confidence 3D structure (as encoded by NeRF) to learn poses. We show that ICON, without prior pose initialization, achieves superior performance in both CO3D and HO3D versus methods which use SfM pose.