Reconstrucción de Coordenadas de Escena: Posicionamiento de Colecciones de Imágenes mediante Aprendizaje Incremental de un Relocalizador

Scene Coordinate Reconstruction: Posing of Image Collections via Incremental Learning of a Relocalizer

April 22, 2024

Autores: Eric Brachmann, Jamie Wynn, Shuai Chen, Tommaso Cavallari, Áron Monszpart, Daniyar Turmukhambetov, Victor Adrian Prisacariu

cs.AI

Resumen

Abordamos la tarea de estimar parámetros de cámara a partir de un conjunto de imágenes que representan una escena. Las herramientas populares de estructura a partir del movimiento (SfM) basadas en características resuelven esta tarea mediante reconstrucción incremental: repiten la triangulación de puntos 3D dispersos y el registro de más vistas de cámara a la nube de puntos dispersa. Reinterpretamos la estructura a partir del movimiento incremental como una aplicación iterativa y refinamiento de un relocalizador visual, es decir, de un método que registra nuevas vistas al estado actual de la reconstrucción. Esta perspectiva nos permite investigar relocalizadores visuales alternativos que no se basan en la coincidencia de características locales. Mostramos que la regresión de coordenadas de escena, un enfoque de relocalización basado en aprendizaje, nos permite construir representaciones de escena implícitas y neuronales a partir de imágenes sin pose. A diferencia de otros métodos de reconstrucción basados en aprendizaje, no requerimos priores de pose ni entradas secuenciales, y optimizamos eficientemente sobre miles de imágenes. Nuestro método, ACE0 (ACE Zero), estima las poses de la cámara con una precisión comparable a la SfM basada en características, como lo demuestra la síntesis de nuevas vistas. Página del proyecto: https://nianticlabs.github.io/acezero/

English

We address the task of estimating camera parameters from a set of images depicting a scene. Popular feature-based structure-from-motion (SfM) tools solve this task by incremental reconstruction: they repeat triangulation of sparse 3D points and registration of more camera views to the sparse point cloud. We re-interpret incremental structure-from-motion as an iterated application and refinement of a visual relocalizer, that is, of a method that registers new views to the current state of the reconstruction. This perspective allows us to investigate alternative visual relocalizers that are not rooted in local feature matching. We show that scene coordinate regression, a learning-based relocalization approach, allows us to build implicit, neural scene representations from unposed images. Different from other learning-based reconstruction methods, we do not require pose priors nor sequential inputs, and we optimize efficiently over thousands of images. Our method, ACE0 (ACE Zero), estimates camera poses to an accuracy comparable to feature-based SfM, as demonstrated by novel view synthesis. Project page: https://nianticlabs.github.io/acezero/