Splatting 3D Gaussiano Livre de COLMAP

COLMAP-Free 3D Gaussian Splatting

December 12, 2023

Autores: Yang Fu, Sifei Liu, Amey Kulkarni, Jan Kautz, Alexei A. Efros, Xiaolong Wang

cs.AI

Resumo

Embora a renderização neural tenha levado a avanços impressionantes na reconstrução de cenas e na síntese de novas perspectivas, ela depende fortemente de poses de câmera pré-calculadas com precisão. Para relaxar essa restrição, diversos esforços foram feitos para treinar Campos de Radiação Neural (NeRFs) sem poses de câmera pré-processadas. No entanto, as representações implícitas dos NeRFs apresentam desafios adicionais para otimizar simultaneamente a estrutura 3D e as poses da câmera. Por outro lado, o recentemente proposto 3D Gaussian Splatting oferece novas oportunidades, dada sua representação explícita de nuvem de pontos. Este artigo aproveita tanto a representação geométrica explícita quanto a continuidade do fluxo de vídeo de entrada para realizar a síntese de novas perspectivas sem qualquer pré-processamento de SfM. Processamos os quadros de entrada de maneira sequencial e expandimos progressivamente o conjunto de Gaussianas 3D, tomando um quadro de entrada por vez, sem a necessidade de pré-calcular as poses da câmera. Nosso método melhora significativamente em relação às abordagens anteriores na síntese de perspectivas e na estimativa de poses da câmera sob grandes mudanças de movimento. Nossa página do projeto está disponível em https://oasisyang.github.io/colmap-free-3dgs.

English

While neural rendering has led to impressive advances in scene reconstruction and novel view synthesis, it relies heavily on accurately pre-computed camera poses. To relax this constraint, multiple efforts have been made to train Neural Radiance Fields (NeRFs) without pre-processed camera poses. However, the implicit representations of NeRFs provide extra challenges to optimize the 3D structure and camera poses at the same time. On the other hand, the recently proposed 3D Gaussian Splatting provides new opportunities given its explicit point cloud representations. This paper leverages both the explicit geometric representation and the continuity of the input video stream to perform novel view synthesis without any SfM preprocessing. We process the input frames in a sequential manner and progressively grow the 3D Gaussians set by taking one input frame at a time, without the need to pre-compute the camera poses. Our method significantly improves over previous approaches in view synthesis and camera pose estimation under large motion changes. Our project page is https://oasisyang.github.io/colmap-free-3dgs