LongSplat: Робастное 3D-сплаттинг на основе гауссовых распределений для непостановочных длинных видео

LongSplat: Robust Unposed 3D Gaussian Splatting for Casual Long Videos

August 19, 2025

Авторы: Chin-Yang Lin, Cheng Sun, Fu-En Yang, Min-Hung Chen, Yen-Yu Lin, Yu-Lun Liu

cs.AI

Аннотация

LongSplat решает ключевые задачи в синтезе новых видов (NVS) из случайно снятых длинных видео, характеризующихся нерегулярным движением камеры, неизвестными позициями камеры и обширными сценами. Современные методы часто сталкиваются с проблемами дрейфа позиций, неточной инициализации геометрии и серьезными ограничениями памяти. Для решения этих проблем мы представляем LongSplat — надежный фреймворк для 3D Gaussian Splatting без заданных позиций, который включает: (1) Инкрементальную совместную оптимизацию, которая одновременно оптимизирует позиции камеры и 3D гауссовы распределения, чтобы избежать локальных минимумов и обеспечить глобальную согласованность; (2) надежный модуль оценки позиций, использующий обученные 3D априорные данные; и (3) эффективный механизм формирования якорей на основе октодерева, который преобразует плотные облака точек в якоря на основе пространственной плотности. Многочисленные эксперименты на сложных бенчмарках показывают, что LongSplat достигает наилучших результатов, значительно улучшая качество рендеринга, точность позиций и вычислительную эффективность по сравнению с предыдущими подходами. Страница проекта: https://linjohnss.github.io/longsplat/

English

LongSplat addresses critical challenges in novel view synthesis (NVS) from casually captured long videos characterized by irregular camera motion, unknown camera poses, and expansive scenes. Current methods often suffer from pose drift, inaccurate geometry initialization, and severe memory limitations. To address these issues, we introduce LongSplat, a robust unposed 3D Gaussian Splatting framework featuring: (1) Incremental Joint Optimization that concurrently optimizes camera poses and 3D Gaussians to avoid local minima and ensure global consistency; (2) a robust Pose Estimation Module leveraging learned 3D priors; and (3) an efficient Octree Anchor Formation mechanism that converts dense point clouds into anchors based on spatial density. Extensive experiments on challenging benchmarks demonstrate that LongSplat achieves state-of-the-art results, substantially improving rendering quality, pose accuracy, and computational efficiency compared to prior approaches. Project page: https://linjohnss.github.io/longsplat/