Восстановление координат сцены: позирование коллекций изображений через Инкрементное обучение релокализатора

Scene Coordinate Reconstruction: Posing of Image Collections via Incremental Learning of a Relocalizer

April 22, 2024

Авторы: Eric Brachmann, Jamie Wynn, Shuai Chen, Tommaso Cavallari, Áron Monszpart, Daniyar Turmukhambetov, Victor Adrian Prisacariu

cs.AI

Аннотация

Мы рассматриваем задачу оценки параметров камеры по набору изображений, изображающих сцену. Популярные инструменты структуры движения изображения на основе особенностей (SfM) решают эту задачу путем инкрементальной реконструкции: они повторяют триангуляцию разреженных 3D точек и регистрацию дополнительных видов камер к разреженному облаку точек. Мы переосмысливаем инкрементальную структуру движения изображения как итеративное применение и уточнение визуального релокализатора, то есть метода, который регистрирует новые виды на текущее состояние реконструкции. Эта перспектива позволяет нам исследовать альтернативные визуальные релокализаторы, не основанные на локальном сопоставлении особенностей. Мы показываем, что регрессия координат сцены, подход к релокализации на основе обучения, позволяет нам создавать неявные, нейронные представления сцены из непозированных изображений. В отличие от других методов реконструкции на основе обучения, нам не требуются априорные данные о позе или последовательные входы, и мы эффективно оптимизируем более тысячи изображений. Наш метод, ACE0 (ACE Zero), оценивает позы камер с точностью, сравнимой с SfM на основе особенностей, как продемонстрировано новым синтезом видов. Страница проекта: https://nianticlabs.github.io/acezero/

English

We address the task of estimating camera parameters from a set of images depicting a scene. Popular feature-based structure-from-motion (SfM) tools solve this task by incremental reconstruction: they repeat triangulation of sparse 3D points and registration of more camera views to the sparse point cloud. We re-interpret incremental structure-from-motion as an iterated application and refinement of a visual relocalizer, that is, of a method that registers new views to the current state of the reconstruction. This perspective allows us to investigate alternative visual relocalizers that are not rooted in local feature matching. We show that scene coordinate regression, a learning-based relocalization approach, allows us to build implicit, neural scene representations from unposed images. Different from other learning-based reconstruction methods, we do not require pose priors nor sequential inputs, and we optimize efficiently over thousands of images. Our method, ACE0 (ACE Zero), estimates camera poses to an accuracy comparable to feature-based SfM, as demonstrated by novel view synthesis. Project page: https://nianticlabs.github.io/acezero/