Reconstruction des coordonnées de scène : Positionnement de collections d'images via l'apprentissage incrémental d'un relocaliseur

Scene Coordinate Reconstruction: Posing of Image Collections via Incremental Learning of a Relocalizer

April 22, 2024

Auteurs: Eric Brachmann, Jamie Wynn, Shuai Chen, Tommaso Cavallari, Áron Monszpart, Daniyar Turmukhambetov, Victor Adrian Prisacariu

cs.AI

Résumé

Nous abordons la tâche d'estimation des paramètres de caméra à partir d'un ensemble d'images représentant une scène. Les outils populaires de structure-from-motion (SfM) basés sur les caractéristiques résolvent cette tâche par reconstruction incrémentale : ils répètent la triangulation de points 3D épars et l'enregistrement de nouvelles vues de caméra dans le nuage de points épars. Nous réinterprétons la structure-from-motion incrémentale comme une application itérative et un raffinement d'un relocalisateur visuel, c'est-à-dire d'une méthode qui enregistre de nouvelles vues dans l'état actuel de la reconstruction. Cette perspective nous permet d'explorer des relocalisateurs visuels alternatifs qui ne reposent pas sur la correspondance de caractéristiques locales. Nous montrons que la régression des coordonnées de scène, une approche de relocalisation basée sur l'apprentissage, nous permet de construire des représentations de scène neurales implicites à partir d'images non positionnées. Contrairement à d'autres méthodes de reconstruction basées sur l'apprentissage, nous n'avons pas besoin de priors de pose ni d'entrées séquentielles, et nous optimisons efficacement sur des milliers d'images. Notre méthode, ACE0 (ACE Zero), estime les poses de caméra avec une précision comparable à celle du SfM basé sur les caractéristiques, comme le démontre la synthèse de nouvelles vues. Page du projet : https://nianticlabs.github.io/acezero/

English

We address the task of estimating camera parameters from a set of images depicting a scene. Popular feature-based structure-from-motion (SfM) tools solve this task by incremental reconstruction: they repeat triangulation of sparse 3D points and registration of more camera views to the sparse point cloud. We re-interpret incremental structure-from-motion as an iterated application and refinement of a visual relocalizer, that is, of a method that registers new views to the current state of the reconstruction. This perspective allows us to investigate alternative visual relocalizers that are not rooted in local feature matching. We show that scene coordinate regression, a learning-based relocalization approach, allows us to build implicit, neural scene representations from unposed images. Different from other learning-based reconstruction methods, we do not require pose priors nor sequential inputs, and we optimize efficiently over thousands of images. Our method, ACE0 (ACE Zero), estimates camera poses to an accuracy comparable to feature-based SfM, as demonstrated by novel view synthesis. Project page: https://nianticlabs.github.io/acezero/