PoseDiffusion: Resolución de la Estimación de Pose mediante Ajuste de Haz Asistido por Difusión

PoseDiffusion: Solving Pose Estimation via Diffusion-aided Bundle Adjustment

June 27, 2023

Autores: Jianyuan Wang, Christian Rupprecht, David Novotny

cs.AI

Resumen

La estimación de la pose de la cámara es un problema clásico en visión por computadora que, hasta la fecha, a menudo depende de métodos tradicionales, como la coincidencia de puntos clave diseñados manualmente, RANSAC y el ajuste de haces. En este artículo, proponemos formular el problema de Estructura a partir del Movimiento (SfM) dentro de un marco de difusión probabilística, modelando la distribución condicional de las poses de la cámara dadas las imágenes de entrada. Esta nueva perspectiva de un problema antiguo ofrece varias ventajas: (i) La naturaleza del marco de difusión refleja el procedimiento iterativo del ajuste de haces. (ii) La formulación permite una integración fluida de restricciones geométricas derivadas de la geometría epipolar. (iii) Sobresale en escenarios típicamente difíciles, como vistas escasas con líneas base amplias. (iv) El método puede predecir parámetros intrínsecos y extrínsecos para una cantidad arbitraria de imágenes. Demostramos que nuestro método, PoseDiffusion, mejora significativamente respecto a las pipelines clásicas de SfM y los enfoques basados en aprendizaje en dos conjuntos de datos del mundo real. Finalmente, se observa que nuestro método puede generalizar entre conjuntos de datos sin necesidad de entrenamiento adicional. Página del proyecto: https://posediffusion.github.io/

English

Camera pose estimation is a long-standing computer vision problem that to date often relies on classical methods, such as handcrafted keypoint matching, RANSAC and bundle adjustment. In this paper, we propose to formulate the Structure from Motion (SfM) problem inside a probabilistic diffusion framework, modelling the conditional distribution of camera poses given input images. This novel view of an old problem has several advantages. (i) The nature of the diffusion framework mirrors the iterative procedure of bundle adjustment. (ii) The formulation allows a seamless integration of geometric constraints from epipolar geometry. (iii) It excels in typically difficult scenarios such as sparse views with wide baselines. (iv) The method can predict intrinsics and extrinsics for an arbitrary amount of images. We demonstrate that our method PoseDiffusion significantly improves over the classic SfM pipelines and the learned approaches on two real-world datasets. Finally, it is observed that our method can generalize across datasets without further training. Project page: https://posediffusion.github.io/