LongSplat: Splatting 3D Gaussiano Robusto per Video Lunghi Casuali senza Posa

LongSplat: Robust Unposed 3D Gaussian Splatting for Casual Long Videos

August 19, 2025

Autori: Chin-Yang Lin, Cheng Sun, Fu-En Yang, Min-Hung Chen, Yen-Yu Lin, Yu-Lun Liu

cs.AI

Abstract

LongSplat affronta le sfide critiche nella sintesi di nuove visualizzazioni (NVS) a partire da video lunghi acquisiti casualmente, caratterizzati da movimenti irregolari della telecamera, pose della telecamera sconosciute e scene ampie. I metodi attuali spesso soffrono di deriva delle pose, inizializzazione geometrica imprecisa e gravi limitazioni di memoria. Per risolvere questi problemi, introduciamo LongSplat, un robusto framework di 3D Gaussian Splatting senza pose che include: (1) Ottimizzazione Incrementale Congiunta che ottimizza simultaneamente le pose della telecamera e i Gaussian 3D per evitare minimi locali e garantire coerenza globale; (2) un Modulo di Stima delle Pose Robusto che sfrutta prior 3D appresi; e (3) un meccanismo efficiente di Formazione di Ancore Octree che converte nuvole di punti dense in ancore basate sulla densità spaziale. Esperimenti estesi su benchmark impegnativi dimostrano che LongSplat raggiunge risultati all'avanguardia, migliorando sostanzialmente la qualità del rendering, l'accuratezza delle pose e l'efficienza computazionale rispetto agli approcci precedenti. Pagina del progetto: https://linjohnss.github.io/longsplat/

English

LongSplat addresses critical challenges in novel view synthesis (NVS) from casually captured long videos characterized by irregular camera motion, unknown camera poses, and expansive scenes. Current methods often suffer from pose drift, inaccurate geometry initialization, and severe memory limitations. To address these issues, we introduce LongSplat, a robust unposed 3D Gaussian Splatting framework featuring: (1) Incremental Joint Optimization that concurrently optimizes camera poses and 3D Gaussians to avoid local minima and ensure global consistency; (2) a robust Pose Estimation Module leveraging learned 3D priors; and (3) an efficient Octree Anchor Formation mechanism that converts dense point clouds into anchors based on spatial density. Extensive experiments on challenging benchmarks demonstrate that LongSplat achieves state-of-the-art results, substantially improving rendering quality, pose accuracy, and computational efficiency compared to prior approaches. Project page: https://linjohnss.github.io/longsplat/