장면 좌표 재구성: 재위치 지정기의 점진적 학습을 통한 이미지 컬렉션의 포즈 추정

초록

우리는 한 장면을 묘사하는 이미지 세트로부터 카메라 파라미터를 추정하는 작업을 다룹니다. 널리 사용되는 특징 기반 구조 추정(SfM) 도구들은 이 작업을 증분적 재구성을 통해 해결합니다: 이들은 희소 3D 점들의 삼각측량과 희소 점 구름에 더 많은 카메라 뷰를 등록하는 과정을 반복합니다. 우리는 증분적 구조 추정을 시각적 재위치 지정기의 반복적 적용 및 개선으로 재해석합니다. 즉, 재구성의 현재 상태에 새로운 뷰를 등록하는 방법으로 해석합니다. 이러한 관점은 지역 특징 매칭에 기반하지 않는 대안적 시각적 재위치 지정기를 탐구할 수 있게 합니다. 우리는 학습 기반 재위치 지정 접근법인 장면 좌표 회귀를 통해 포즈가 없는 이미지로부터 암묵적 신경망 장면 표현을 구축할 수 있음을 보여줍니다. 다른 학습 기반 재구성 방법과 달리, 우리는 포즈 사전 정보나 순차적 입력을 요구하지 않으며, 수천 장의 이미지에 대해 효율적으로 최적화합니다. 우리의 방법인 ACE0(ACE Zero)는 특징 기반 SfM과 비슷한 정확도로 카메라 포즈를 추정하며, 이는 새로운 뷰 합성을 통해 입증되었습니다. 프로젝트 페이지: https://nianticlabs.github.io/acezero/

English

We address the task of estimating camera parameters from a set of images depicting a scene. Popular feature-based structure-from-motion (SfM) tools solve this task by incremental reconstruction: they repeat triangulation of sparse 3D points and registration of more camera views to the sparse point cloud. We re-interpret incremental structure-from-motion as an iterated application and refinement of a visual relocalizer, that is, of a method that registers new views to the current state of the reconstruction. This perspective allows us to investigate alternative visual relocalizers that are not rooted in local feature matching. We show that scene coordinate regression, a learning-based relocalization approach, allows us to build implicit, neural scene representations from unposed images. Different from other learning-based reconstruction methods, we do not require pose priors nor sequential inputs, and we optimize efficiently over thousands of images. Our method, ACE0 (ACE Zero), estimates camera poses to an accuracy comparable to feature-based SfM, as demonstrated by novel view synthesis. Project page: https://nianticlabs.github.io/acezero/

장면 좌표 재구성: 재위치 지정기의 점진적 학습을 통한 이미지 컬렉션의 포즈 추정

Scene Coordinate Reconstruction: Posing of Image Collections via Incremental Learning of a Relocalizer

초록

Summary

Support

Support