ICON: Incrementeel Vertrouwen voor Gezamenlijke Pose en Radiance Field Optimalisatie

ICON: Incremental CONfidence for Joint Pose and Radiance Field Optimization

January 17, 2024

Auteurs: Weiyao Wang, Pierre Gleize, Hao Tang, Xingyu Chen, Kevin J Liang, Matt Feiszli

cs.AI

Samenvatting

Neural Radiance Fields (NeRF) vertonen opmerkelijke prestaties voor Novel View Synthesis (NVS) op basis van een set 2D-beelden. Echter vereist NeRF-training nauwkeurige cameraposities voor elke invoerweergave, die doorgaans worden verkregen via Structure-from-Motion (SfM)-pijplijnen. Recente werken hebben geprobeerd deze beperking te versoepelen, maar ze blijven vaak afhankelijk van redelijke initiële posities die ze kunnen verfijnen. Hier streven we ernaar de vereiste voor pose-initialisatie te verwijderen. We presenteren Incremental CONfidence (ICON), een optimalisatieprocedure voor het trainen van NeRF's vanuit 2D-videoframes. ICON gaat uit van vloeiende camerabeweging om een initiële schatting voor de posities te maken. Bovendien introduceert ICON "confidence": een adaptieve maatstaf voor modelkwaliteit die wordt gebruikt om gradiënten dynamisch te herwegen. ICON vertrouwt op posities met hoge confidence om NeRF te leren, en op 3D-structuur met hoge confidence (zoals gecodeerd door NeRF) om posities te leren. We tonen aan dat ICON, zonder voorafgaande pose-initialisatie, superieure prestaties behaalt in zowel CO3D als HO3D vergeleken met methoden die SfM-posities gebruiken.

English

Neural Radiance Fields (NeRF) exhibit remarkable performance for Novel View Synthesis (NVS) given a set of 2D images. However, NeRF training requires accurate camera pose for each input view, typically obtained by Structure-from-Motion (SfM) pipelines. Recent works have attempted to relax this constraint, but they still often rely on decent initial poses which they can refine. Here we aim at removing the requirement for pose initialization. We present Incremental CONfidence (ICON), an optimization procedure for training NeRFs from 2D video frames. ICON only assumes smooth camera motion to estimate initial guess for poses. Further, ICON introduces ``confidence": an adaptive measure of model quality used to dynamically reweight gradients. ICON relies on high-confidence poses to learn NeRF, and high-confidence 3D structure (as encoded by NeRF) to learn poses. We show that ICON, without prior pose initialization, achieves superior performance in both CO3D and HO3D versus methods which use SfM pose.