Esplatado Gaussiano 3D sin COLMAP

COLMAP-Free 3D Gaussian Splatting

December 12, 2023

Autores: Yang Fu, Sifei Liu, Amey Kulkarni, Jan Kautz, Alexei A. Efros, Xiaolong Wang

cs.AI

Resumen

Si bien el renderizado neuronal ha llevado a avances impresionantes en la reconstrucción de escenas y la síntesis de nuevas vistas, depende en gran medida de poses de cámara precalculadas con precisión. Para relajar esta restricción, se han realizado múltiples esfuerzos para entrenar Campos de Radiancia Neuronal (NeRFs) sin poses de cámara preprocesadas. Sin embargo, las representaciones implícitas de los NeRFs presentan desafíos adicionales para optimizar simultáneamente la estructura 3D y las poses de la cámara. Por otro lado, el recientemente propuesto 3D Gaussian Splatting ofrece nuevas oportunidades gracias a sus representaciones explícitas de nubes de puntos. Este artículo aprovecha tanto la representación geométrica explícita como la continuidad del flujo de video de entrada para realizar la síntesis de nuevas vistas sin ningún preprocesamiento de SfM. Procesamos los fotogramas de entrada de manera secuencial y aumentamos progresivamente el conjunto de Gaussianas 3D tomando un fotograma de entrada a la vez, sin necesidad de precalcular las poses de la cámara. Nuestro método mejora significativamente sobre enfoques anteriores en la síntesis de vistas y la estimación de poses de cámara bajo grandes cambios de movimiento. Nuestra página del proyecto es https://oasisyang.github.io/colmap-free-3dgs.

English

While neural rendering has led to impressive advances in scene reconstruction and novel view synthesis, it relies heavily on accurately pre-computed camera poses. To relax this constraint, multiple efforts have been made to train Neural Radiance Fields (NeRFs) without pre-processed camera poses. However, the implicit representations of NeRFs provide extra challenges to optimize the 3D structure and camera poses at the same time. On the other hand, the recently proposed 3D Gaussian Splatting provides new opportunities given its explicit point cloud representations. This paper leverages both the explicit geometric representation and the continuity of the input video stream to perform novel view synthesis without any SfM preprocessing. We process the input frames in a sequential manner and progressively grow the 3D Gaussians set by taking one input frame at a time, without the need to pre-compute the camera poses. Our method significantly improves over previous approaches in view synthesis and camera pose estimation under large motion changes. Our project page is https://oasisyang.github.io/colmap-free-3dgs