LongSplat : Méthode robuste de splatting 3D avec gaussiennes non posées pour les vidéos longues informelles

LongSplat: Robust Unposed 3D Gaussian Splatting for Casual Long Videos

August 19, 2025

papers.authors: Chin-Yang Lin, Cheng Sun, Fu-En Yang, Min-Hung Chen, Yen-Yu Lin, Yu-Lun Liu

cs.AI

papers.abstract

LongSplat aborde les défis critiques de la synthèse de nouvelles vues (NVS) à partir de vidéos longues capturées de manière informelle, caractérisées par des mouvements de caméra irréguliers, des poses de caméra inconnues et des scènes étendues. Les méthodes actuelles souffrent souvent de dérive de pose, d'initialisation géométrique imprécise et de limitations sévères de mémoire. Pour résoudre ces problèmes, nous introduisons LongSplat, un cadre robuste de splatting 3D Gaussien non posé, comprenant : (1) une Optimisation Conjointe Incrémentale qui optimise simultanément les poses de caméra et les Gaussiennes 3D pour éviter les minima locaux et assurer une cohérence globale ; (2) un Module d'Estimation de Pose Robuste exploitant des a priori 3D appris ; et (3) un mécanisme efficace de Formation d'Ancres Octree qui convertit des nuages de points denses en ancres basées sur la densité spatiale. Des expériences approfondies sur des benchmarks difficiles démontrent que LongSplat atteint des résultats de pointe, améliorant considérablement la qualité de rendu, la précision des poses et l'efficacité computationnelle par rapport aux approches précédentes. Page du projet : https://linjohnss.github.io/longsplat/

English

LongSplat addresses critical challenges in novel view synthesis (NVS) from casually captured long videos characterized by irregular camera motion, unknown camera poses, and expansive scenes. Current methods often suffer from pose drift, inaccurate geometry initialization, and severe memory limitations. To address these issues, we introduce LongSplat, a robust unposed 3D Gaussian Splatting framework featuring: (1) Incremental Joint Optimization that concurrently optimizes camera poses and 3D Gaussians to avoid local minima and ensure global consistency; (2) a robust Pose Estimation Module leveraging learned 3D priors; and (3) an efficient Octree Anchor Formation mechanism that converts dense point clouds into anchors based on spatial density. Extensive experiments on challenging benchmarks demonstrate that LongSplat achieves state-of-the-art results, substantially improving rendering quality, pose accuracy, and computational efficiency compared to prior approaches. Project page: https://linjohnss.github.io/longsplat/