LongSplat: Robuuste Ongeposeerde 3D Gaussische Splatting voor Informele Lange Video's

LongSplat: Robust Unposed 3D Gaussian Splatting for Casual Long Videos

August 19, 2025

Auteurs: Chin-Yang Lin, Cheng Sun, Fu-En Yang, Min-Hung Chen, Yen-Yu Lin, Yu-Lun Liu

cs.AI

Samenvatting

LongSplat behandelt cruciale uitdagingen in het synthetiseren van nieuwe aanzichten (NVS) vanuit casual opgenomen lange video's die gekenmerkt worden door onregelmatige camerabewegingen, onbekende cameraposities en uitgestrekte scènes. Bestaande methoden kampen vaak met positiedrift, onnauwkeurige geometrie-initialisatie en ernstige geheugenbeperkingen. Om deze problemen aan te pakken, introduceren we LongSplat, een robuust 3D Gaussian Splatting-framework zonder vooraf bepaalde posities, dat de volgende kenmerken heeft: (1) Incrementele Gezamenlijke Optimalisatie die gelijktijdig cameraposities en 3D Gaussians optimaliseert om lokale minima te vermijden en globale consistentie te waarborgen; (2) een robuuste Positieschatting Module die gebruikmaakt van geleerde 3D-priors; en (3) een efficiënt Octree Anchor Formation-mechanisme dat dichte puntenwolken omzet in ankers op basis van ruimtelijke dichtheid. Uitgebreide experimenten op uitdagende benchmarks tonen aan dat LongSplat state-of-the-art resultaten behaalt, met aanzienlijke verbeteringen in renderkwaliteit, positienauwkeurigheid en rekenkundige efficiëntie in vergelijking met eerdere benaderingen. Projectpagina: https://linjohnss.github.io/longsplat/

English

LongSplat addresses critical challenges in novel view synthesis (NVS) from casually captured long videos characterized by irregular camera motion, unknown camera poses, and expansive scenes. Current methods often suffer from pose drift, inaccurate geometry initialization, and severe memory limitations. To address these issues, we introduce LongSplat, a robust unposed 3D Gaussian Splatting framework featuring: (1) Incremental Joint Optimization that concurrently optimizes camera poses and 3D Gaussians to avoid local minima and ensure global consistency; (2) a robust Pose Estimation Module leveraging learned 3D priors; and (3) an efficient Octree Anchor Formation mechanism that converts dense point clouds into anchors based on spatial density. Extensive experiments on challenging benchmarks demonstrate that LongSplat achieves state-of-the-art results, substantially improving rendering quality, pose accuracy, and computational efficiency compared to prior approaches. Project page: https://linjohnss.github.io/longsplat/