StreamSplat: 未校正ビデオストリームからのオンライン動的3D再構成に向けて

要旨

未校正ビデオストリームからの動的3Dシーンのリアルタイム再構築は、多くの実世界の応用において極めて重要である。しかし、既存の手法は、以下の3つの主要な課題を同時に解決するのに苦戦している：1) 未校正の入力をリアルタイムで処理すること、2) 動的シーンの進化を正確にモデル化すること、3) 長期的な安定性と計算効率を維持すること。これに対処するため、我々はStreamSplatを提案する。これは、任意の長さの未校正ビデオストリームをオンラインで動的3Dガウススプラッティング（3DGS）表現に変換する初の完全フィードフォワードフレームワークであり、時間的に局所的な観察からシーンのダイナミクスを復元することが可能である。我々は、3DGS位置予測のための静的エンコーダにおける確率的サンプリングメカニズムと、動的デコーダにおける双方向変形フィールドという2つの主要な技術的革新を提案する。これにより、堅牢かつ効率的な動的モデル化が可能となる。静的および動的ベンチマークにおける広範な実験により、StreamSplatが再構築品質と動的シーンモデル化の両面で従来の手法を一貫して上回り、かつ任意の長さのビデオストリームのオンライン再構築を独自にサポートすることが実証された。コードとモデルはhttps://github.com/nickwzk/StreamSplatで公開されている。

English

Real-time reconstruction of dynamic 3D scenes from uncalibrated video streams is crucial for numerous real-world applications. However, existing methods struggle to jointly address three key challenges: 1) processing uncalibrated inputs in real time, 2) accurately modeling dynamic scene evolution, and 3) maintaining long-term stability and computational efficiency. To this end, we introduce StreamSplat, the first fully feed-forward framework that transforms uncalibrated video streams of arbitrary length into dynamic 3D Gaussian Splatting (3DGS) representations in an online manner, capable of recovering scene dynamics from temporally local observations. We propose two key technical innovations: a probabilistic sampling mechanism in the static encoder for 3DGS position prediction, and a bidirectional deformation field in the dynamic decoder that enables robust and efficient dynamic modeling. Extensive experiments on static and dynamic benchmarks demonstrate that StreamSplat consistently outperforms prior works in both reconstruction quality and dynamic scene modeling, while uniquely supporting online reconstruction of arbitrarily long video streams. Code and models are available at https://github.com/nickwzk/StreamSplat.

StreamSplat: 未校正ビデオストリームからのオンライン動的3D再構成に向けて

StreamSplat: Towards Online Dynamic 3D Reconstruction from Uncalibrated Video Streams

要旨

Support