TideGS: アウトオブコア最適化による10億以上の3Dガウシアンスプラッティングプリミティブのスケーラブルな学習

要旨

数十億プリミティブ規模での3Dガウシアンスプラッティング（3DGS）学習は、本質的にメモリ律速である。各ガウシアンプリミティブは大きな属性ベクトルを持ち、パラメータテーブル全体がすぐにGPUの容量を超過するため、従来のシステムでは一般的なシングルGPUハードウェア上で数千万個のガウシアンに制限されていた。我々は、3DGS学習が本質的に疎であり、軌道条件付きであることに着目した。すなわち、各イテレーションでは現在のカメラバッチから可視なガウシアンのみが活性化されるため、GPUメモリは永続的なパラメータストアではなくワーキングセットキャッシュとして機能できる。この知見に基づき、我々はTideGSを導入する。これは、SSD-CPU-GPU階層全体でパラメータを管理するアウトオブコア学習フレームワークであり、以下の3つの相乗効果を持つ技術により実現される。すなわち、SSDに整列した空間局所性のためのブロック仮想化ジオメトリ、I/Oと計算をオーバーラップさせる階層的非同期パイプライン、そしてイテレーション間で増分ワーキングセット差分のみを転送する軌道適応型差分ストリーミングである。実験により、TideGSは単一の24 GB GPU上で10億以上のガウシアンによる学習を可能にし、大規模シーンにおいて評価されたシングルGPUベースラインの中で最高の再構成品質を達成し、従来のアウトオブコアベースライン（例えば約1億ガウシアン）や標準的なインメモリ学習（例えば約1100万ガウシアン）を超えるスケーリングを実現する。

English

Training 3D Gaussian Splatting (3DGS) at billion-primitive scale is fundamentally memory-bound: each Gaussian primitive carries a large attribute vector, and the aggregate parameter table quickly exceeds GPU capacity, limiting prior systems to tens of millions of Gaussians on commodity single-GPU hardware. We observe that 3DGS training is inherently sparse and trajectory-conditioned: each iteration activates only the Gaussians visible from the current camera batch, so GPU memory can serve as a working-set cache rather than a persistent parameter store. Building on this insight, we introduce TideGS, an out-of-core training framework that manages parameters across an SSD-CPU-GPU hierarchy via three synergistic techniques: block-virtualized geometry for SSD-aligned spatial locality, a hierarchical asynchronous pipeline to overlap I/O with computation, and trajectory-adaptive differential streaming that transfers only incremental working-set deltas between iterations. Experiments show that TideGS enables training with over one billion Gaussians on a single 24 GB GPU while achieving the best reconstruction quality among evaluated single-GPU baselines on large-scale scenes, scaling beyond prior out-of-core baselines (e.g., approximately 100M Gaussians) and standard in-memory training (e.g., approximately 11M Gaussians).