LongSplat: Splatting de Gaussianos 3D Robusto sem Pose para Vídeos Longos Casuais
LongSplat: Robust Unposed 3D Gaussian Splatting for Casual Long Videos
August 19, 2025
Autores: Chin-Yang Lin, Cheng Sun, Fu-En Yang, Min-Hung Chen, Yen-Yu Lin, Yu-Lun Liu
cs.AI
Resumo
O LongSplat aborda desafios críticos na síntese de novas vistas (NVS) a partir de vídeos longos capturados casualmente, caracterizados por movimentos irregulares da câmera, poses desconhecidas da câmera e cenas expansivas. Os métodos atuais frequentemente sofrem com deriva de pose, inicialização imprecisa da geometria e severas limitações de memória. Para resolver esses problemas, introduzimos o LongSplat, um robusto framework de 3D Gaussian Splatting sem pose, que apresenta: (1) Otimização Conjunta Incremental, que otimiza simultaneamente as poses da câmera e os Gaussianos 3D para evitar mínimos locais e garantir consistência global; (2) um Módulo de Estimação de Pose robusto que aproveita priors 3D aprendidos; e (3) um mecanismo eficiente de Formação de Âncoras Octree, que converte nuvens de pontos densas em âncoras com base na densidade espacial. Experimentos extensivos em benchmarks desafiadores demonstram que o LongSplat alcança resultados de ponta, melhorando substancialmente a qualidade de renderização, a precisão da pose e a eficiência computacional em comparação com abordagens anteriores. Página do projeto: https://linjohnss.github.io/longsplat/
English
LongSplat addresses critical challenges in novel view synthesis (NVS) from
casually captured long videos characterized by irregular camera motion, unknown
camera poses, and expansive scenes. Current methods often suffer from pose
drift, inaccurate geometry initialization, and severe memory limitations. To
address these issues, we introduce LongSplat, a robust unposed 3D Gaussian
Splatting framework featuring: (1) Incremental Joint Optimization that
concurrently optimizes camera poses and 3D Gaussians to avoid local minima and
ensure global consistency; (2) a robust Pose Estimation Module leveraging
learned 3D priors; and (3) an efficient Octree Anchor Formation mechanism that
converts dense point clouds into anchors based on spatial density. Extensive
experiments on challenging benchmarks demonstrate that LongSplat achieves
state-of-the-art results, substantially improving rendering quality, pose
accuracy, and computational efficiency compared to prior approaches. Project
page: https://linjohnss.github.io/longsplat/