StreamSplat: Auf dem Weg zur Online-Dynamischen 3D-Rekonstruktion aus Unkalibrierten Videostreams

StreamSplat: Towards Online Dynamic 3D Reconstruction from Uncalibrated Video Streams

June 10, 2025

Autoren: Zike Wu, Qi Yan, Xuanyu Yi, Lele Wang, Renjie Liao

cs.AI

Zusammenfassung

Die Echtzeit-Rekonstruktion dynamischer 3D-Szenen aus unkalibrierten Videoströmen ist für zahlreiche reale Anwendungen von entscheidender Bedeutung. Bestehende Methoden haben jedoch Schwierigkeiten, drei zentrale Herausforderungen gleichzeitig zu bewältigen: 1) die Verarbeitung unkalibrierter Eingaben in Echtzeit, 2) die präzise Modellierung der dynamischen Szenenentwicklung und 3) die Aufrechterhaltung von Langzeitstabilität und Recheneffizienz. Vor diesem Hintergrund stellen wir StreamSplat vor, das erste vollständig vorwärtsgerichtete Framework, das unkalibrierte Videoströme beliebiger Länge in Echtzeit in dynamische 3D-Gaussian-Splatting (3DGS)-Darstellungen umwandelt und dabei in der Lage ist, Szenendynamiken aus zeitlich begrenzten Beobachtungen zu rekonstruieren. Wir präsentieren zwei wesentliche technische Innovationen: einen probabilistischen Sampling-Mechanismus im statischen Encoder für die 3DGS-Positionsvorhersage und ein bidirektionales Deformationsfeld im dynamischen Decoder, das eine robuste und effiziente dynamische Modellierung ermöglicht. Umfangreiche Experimente auf statischen und dynamischen Benchmarks zeigen, dass StreamSplat bestehende Arbeiten sowohl in der Rekonstruktionsqualität als auch in der Modellierung dynamischer Szenen konsequent übertrifft und dabei als einziges Framework die Online-Rekonstruktion beliebig langer Videoströme unterstützt. Code und Modelle sind unter https://github.com/nickwzk/StreamSplat verfügbar.

English

Real-time reconstruction of dynamic 3D scenes from uncalibrated video streams is crucial for numerous real-world applications. However, existing methods struggle to jointly address three key challenges: 1) processing uncalibrated inputs in real time, 2) accurately modeling dynamic scene evolution, and 3) maintaining long-term stability and computational efficiency. To this end, we introduce StreamSplat, the first fully feed-forward framework that transforms uncalibrated video streams of arbitrary length into dynamic 3D Gaussian Splatting (3DGS) representations in an online manner, capable of recovering scene dynamics from temporally local observations. We propose two key technical innovations: a probabilistic sampling mechanism in the static encoder for 3DGS position prediction, and a bidirectional deformation field in the dynamic decoder that enables robust and efficient dynamic modeling. Extensive experiments on static and dynamic benchmarks demonstrate that StreamSplat consistently outperforms prior works in both reconstruction quality and dynamic scene modeling, while uniquely supporting online reconstruction of arbitrarily long video streams. Code and models are available at https://github.com/nickwzk/StreamSplat.