ICON: Inkrementelles KONfidenzmaß für die gemeinsame Optimierung von Pose und Radiance Field

ICON: Incremental CONfidence for Joint Pose and Radiance Field Optimization

January 17, 2024

Autoren: Weiyao Wang, Pierre Gleize, Hao Tang, Xingyu Chen, Kevin J Liang, Matt Feiszli

cs.AI

Zusammenfassung

Neural Radiance Fields (NeRF) zeigen bemerkenswerte Leistung bei der Synthese neuer Ansichten (Novel View Synthesis, NVS) basierend auf einer Menge von 2D-Bildern. Allerdings erfordert das Training von NeRF genaue Kameraposen für jede Eingabeansicht, die typischerweise durch Structure-from-Motion (SfM)-Verfahren ermittelt werden. Neuere Arbeiten haben versucht, diese Einschränkung zu lockern, aber sie verlassen sich dennoch oft auf brauchbare Initialposen, die sie verfeinern können. Hier streben wir an, die Notwendigkeit einer Pose-Initialisierung vollständig zu entfernen. Wir präsentieren Incremental CONfidence (ICON), ein Optimierungsverfahren zum Training von NeRFs aus 2D-Videobildern. ICON geht lediglich von einer sanften Kamerabewegung aus, um eine erste Schätzung für die Posen zu ermitteln. Darüber hinaus führt ICON „Confidence“ ein: ein adaptives Maß für die Modellqualität, das verwendet wird, um Gradienten dynamisch neu zu gewichten. ICON stützt sich auf hochvertrauenswürdige Posen, um NeRF zu lernen, und auf hochvertrauenswürdige 3D-Strukturen (wie sie durch NeRF kodiert werden), um Posen zu lernen. Wir zeigen, dass ICON ohne vorherige Pose-Initialisierung sowohl in CO3D als auch in HO3D eine überlegene Leistung gegenüber Methoden erzielt, die SfM-Posen verwenden.

English

Neural Radiance Fields (NeRF) exhibit remarkable performance for Novel View Synthesis (NVS) given a set of 2D images. However, NeRF training requires accurate camera pose for each input view, typically obtained by Structure-from-Motion (SfM) pipelines. Recent works have attempted to relax this constraint, but they still often rely on decent initial poses which they can refine. Here we aim at removing the requirement for pose initialization. We present Incremental CONfidence (ICON), an optimization procedure for training NeRFs from 2D video frames. ICON only assumes smooth camera motion to estimate initial guess for poses. Further, ICON introduces ``confidence": an adaptive measure of model quality used to dynamically reweight gradients. ICON relies on high-confidence poses to learn NeRF, and high-confidence 3D structure (as encoded by NeRF) to learn poses. We show that ICON, without prior pose initialization, achieves superior performance in both CO3D and HO3D versus methods which use SfM pose.