3D-сплатинг с гауссовыми функциями без использования COLMAP

COLMAP-Free 3D Gaussian Splatting

December 12, 2023

Авторы: Yang Fu, Sifei Liu, Amey Kulkarni, Jan Kautz, Alexei A. Efros, Xiaolong Wang

cs.AI

Аннотация

Хотя нейронный рендеринг привел к впечатляющим достижениям в реконструкции сцен и синтезе новых ракурсов, он сильно зависит от точно предварительно вычисленных поз камер. Чтобы ослабить это ограничение, было предпринято несколько попыток обучить Neural Radiance Fields (NeRF) без предварительно обработанных поз камер. Однако неявные представления NeRF создают дополнительные сложности для одновременной оптимизации 3D-структуры и поз камер. С другой стороны, недавно предложенный метод 3D Gaussian Splatting предоставляет новые возможности благодаря своим явным представлениям в виде облака точек. В данной работе используются как явное геометрическое представление, так и непрерывность входного видеопотока для синтеза новых ракурсов без какой-либо предварительной обработки с использованием SfM. Мы обрабатываем входные кадры последовательно и постепенно расширяем набор 3D-гауссов, обрабатывая по одному входному кадру за раз, без необходимости предварительного вычисления поз камер. Наш метод значительно превосходит предыдущие подходы в синтезе ракурсов и оценке поз камер при значительных изменениях движения. Страница проекта доступна по адресу: https://oasisyang.github.io/colmap-free-3dgs.

English

While neural rendering has led to impressive advances in scene reconstruction and novel view synthesis, it relies heavily on accurately pre-computed camera poses. To relax this constraint, multiple efforts have been made to train Neural Radiance Fields (NeRFs) without pre-processed camera poses. However, the implicit representations of NeRFs provide extra challenges to optimize the 3D structure and camera poses at the same time. On the other hand, the recently proposed 3D Gaussian Splatting provides new opportunities given its explicit point cloud representations. This paper leverages both the explicit geometric representation and the continuity of the input video stream to perform novel view synthesis without any SfM preprocessing. We process the input frames in a sequential manner and progressively grow the 3D Gaussians set by taking one input frame at a time, without the need to pre-compute the camera poses. Our method significantly improves over previous approaches in view synthesis and camera pose estimation under large motion changes. Our project page is https://oasisyang.github.io/colmap-free-3dgs