TideGS : Entraînement scalable de plus d'un milliard de primitives de splatting gaussien 3D via optimisation out-of-core

Résumé

L'entraînement de l'Éclaboussure de Gaussiennes 3D (3DGS) à l'échelle de milliards de primitives est fondamentalement limité par la mémoire : chaque primitive gaussienne porte un grand vecteur d'attributs, et la table de paramètres agrégée dépasse rapidement la capacité du GPU, limitant les systèmes antérieurs à des dizaines de millions de gaussiennes sur du matériel à GPU unique grand public. Nous observons que l'entraînement 3DGS est intrinsèquement sparse et conditionné par la trajectoire : chaque itération n'active que les gaussiennes visibles depuis le lot de caméras actuel, de sorte que la mémoire GPU peut servir de cache d'espace de travail plutôt que de stockage persistant de paramètres. En nous appuyant sur cette observation, nous introduisons TideGS, un framework d'entraînement hors mémoire centrale qui gère les paramètres à travers une hiérarchie SSD-CPU-GPU via trois techniques synergiques : une géométrie virtualisée par blocs pour une localité spatiale alignée sur le SSD, un pipeline asynchrone hiérarchique pour chevaucher les E/S avec le calcul, et un streaming différentiel adaptatif à la trajectoire qui transfère uniquement les deltas incrémentaux de l'espace de travail entre les itérations. Les expériences montrent que TideGS permet un entraînement avec plus d'un milliard de gaussiennes sur un seul GPU de 24 Go tout en atteignant la meilleure qualité de reconstruction parmi les références sur GPU unique évaluées sur des scènes à grande échelle, dépassant les références hors mémoire antérieures (par exemple, environ 100 millions de gaussiennes) et l'entraînement standard en mémoire (par exemple, environ 11 millions de gaussiennes).

English

Training 3D Gaussian Splatting (3DGS) at billion-primitive scale is fundamentally memory-bound: each Gaussian primitive carries a large attribute vector, and the aggregate parameter table quickly exceeds GPU capacity, limiting prior systems to tens of millions of Gaussians on commodity single-GPU hardware. We observe that 3DGS training is inherently sparse and trajectory-conditioned: each iteration activates only the Gaussians visible from the current camera batch, so GPU memory can serve as a working-set cache rather than a persistent parameter store. Building on this insight, we introduce TideGS, an out-of-core training framework that manages parameters across an SSD-CPU-GPU hierarchy via three synergistic techniques: block-virtualized geometry for SSD-aligned spatial locality, a hierarchical asynchronous pipeline to overlap I/O with computation, and trajectory-adaptive differential streaming that transfers only incremental working-set deltas between iterations. Experiments show that TideGS enables training with over one billion Gaussians on a single 24 GB GPU while achieving the best reconstruction quality among evaluated single-GPU baselines on large-scale scenes, scaling beyond prior out-of-core baselines (e.g., approximately 100M Gaussians) and standard in-memory training (e.g., approximately 11M Gaussians).