Szenenkoordinatenrekonstruktion: Posieren von Bildsammlungen durch inkrementelles Lernen eines Neupositionierers

Scene Coordinate Reconstruction: Posing of Image Collections via Incremental Learning of a Relocalizer

April 22, 2024

Autoren: Eric Brachmann, Jamie Wynn, Shuai Chen, Tommaso Cavallari, Áron Monszpart, Daniyar Turmukhambetov, Victor Adrian Prisacariu

cs.AI

Zusammenfassung

Wir behandeln die Aufgabe, Kameraparameter aus einer Reihe von Bildern, die eine Szene darstellen, zu schätzen. Beliebte Merkmal-basierte Struktur-aus-Bewegung (SfM) Werkzeuge lösen diese Aufgabe durch inkrementelle Rekonstruktion: Sie wiederholen die Triangulation von spärlichen 3D-Punkten und die Registrierung weiterer Kameraperspektiven auf die spärliche Punktewolke. Wir interpretieren die inkrementelle Struktur-aus-Bewegung als eine wiederholte Anwendung und Verfeinerung eines visuellen Neulokalisierers, das heißt, einer Methode, die neue Ansichten auf den aktuellen Stand der Rekonstruktion registriert. Diese Perspektive ermöglicht es uns, alternative visuelle Neulokalisierer zu untersuchen, die nicht auf dem Abgleich lokaler Merkmale basieren. Wir zeigen, dass die Szenenkoordinaten-Regression, ein lernbasierten Neulokalisierungsansatz, es uns ermöglicht, implizite, neuronale Szenedarstellungen aus ungeordneten Bildern zu erstellen. Im Gegensatz zu anderen lernbasierten Rekonstruktionsmethoden benötigen wir keine Posenprioritäten oder sequenzielle Eingaben, und wir optimieren effizient über Tausende von Bildern. Unsere Methode, ACE0 (ACE Zero), schätzt Kamerapositionen mit einer Genauigkeit, die mit der Merkmal-basierten SfM vergleichbar ist, wie durch die Synthese neuer Ansichten gezeigt wird. Projekseite: https://nianticlabs.github.io/acezero/

English

We address the task of estimating camera parameters from a set of images depicting a scene. Popular feature-based structure-from-motion (SfM) tools solve this task by incremental reconstruction: they repeat triangulation of sparse 3D points and registration of more camera views to the sparse point cloud. We re-interpret incremental structure-from-motion as an iterated application and refinement of a visual relocalizer, that is, of a method that registers new views to the current state of the reconstruction. This perspective allows us to investigate alternative visual relocalizers that are not rooted in local feature matching. We show that scene coordinate regression, a learning-based relocalization approach, allows us to build implicit, neural scene representations from unposed images. Different from other learning-based reconstruction methods, we do not require pose priors nor sequential inputs, and we optimize efficiently over thousands of images. Our method, ACE0 (ACE Zero), estimates camera poses to an accuracy comparable to feature-based SfM, as demonstrated by novel view synthesis. Project page: https://nianticlabs.github.io/acezero/