LU-NeRF: Estimación de escenas y poses mediante la sincronización de NeRFs locales sin pose

LU-NeRF: Scene and Pose Estimation by Synchronizing Local Unposed NeRFs

June 8, 2023

Autores: Zezhou Cheng, Carlos Esteves, Varun Jampani, Abhishek Kar, Subhransu Maji, Ameesh Makadia

cs.AI

Resumen

Un obstáculo crítico que impide el despliegue generalizado de los modelos NeRF en entornos reales es su dependencia de poses de cámara precisas. En consecuencia, existe un creciente interés en extender los modelos NeRF para optimizar conjuntamente las poses de la cámara y la representación de la escena, lo que ofrece una alternativa a las pipelines de SfM predefinidas que tienen modos de fallo bien conocidos. Los enfoques existentes para NeRF sin poses operan bajo supuestos limitados, como una distribución previa de poses o una inicialización aproximada de las mismas, lo que los hace menos efectivos en un entorno general. En este trabajo, proponemos un enfoque novedoso, LU-NeRF, que estima conjuntamente las poses de la cámara y los campos de radiancia neural con supuestos relajados sobre la configuración de las poses. Nuestro enfoque opera de manera local a global, donde primero optimizamos subconjuntos locales de los datos, denominados mini-escenas. LU-NeRF estima la pose y la geometría local para esta tarea desafiante de pocas muestras. Las poses de las mini-escenas se integran en un marco de referencia global mediante un paso robusto de sincronización de poses, donde se puede realizar una optimización global final de la pose y la escena. Demostramos que nuestra pipeline LU-NeRF supera los intentos previos de NeRF sin poses sin hacer supuestos restrictivos sobre la distribución previa de poses. Esto nos permite operar en el entorno general de poses SE(3), a diferencia de las líneas base. Nuestros resultados también indican que nuestro modelo puede ser complementario a las pipelines de SfM basadas en características, ya que se compara favorablemente con COLMAP en imágenes de baja textura y baja resolución.

English

A critical obstacle preventing NeRF models from being deployed broadly in the wild is their reliance on accurate camera poses. Consequently, there is growing interest in extending NeRF models to jointly optimize camera poses and scene representation, which offers an alternative to off-the-shelf SfM pipelines which have well-understood failure modes. Existing approaches for unposed NeRF operate under limited assumptions, such as a prior pose distribution or coarse pose initialization, making them less effective in a general setting. In this work, we propose a novel approach, LU-NeRF, that jointly estimates camera poses and neural radiance fields with relaxed assumptions on pose configuration. Our approach operates in a local-to-global manner, where we first optimize over local subsets of the data, dubbed mini-scenes. LU-NeRF estimates local pose and geometry for this challenging few-shot task. The mini-scene poses are brought into a global reference frame through a robust pose synchronization step, where a final global optimization of pose and scene can be performed. We show our LU-NeRF pipeline outperforms prior attempts at unposed NeRF without making restrictive assumptions on the pose prior. This allows us to operate in the general SE(3) pose setting, unlike the baselines. Our results also indicate our model can be complementary to feature-based SfM pipelines as it compares favorably to COLMAP on low-texture and low-resolution images.