StreamSplat: 비보정 비디오 스트림을 통한 온라인 동적 3D 재구성 기술

StreamSplat: Towards Online Dynamic 3D Reconstruction from Uncalibrated Video Streams

June 10, 2025

저자: Zike Wu, Qi Yan, Xuanyu Yi, Lele Wang, Renjie Liao

cs.AI

초록

보정되지 않은 비디오 스트림에서 동적 3D 장면의 실시간 재구성은 다양한 실제 응용 분야에서 매우 중요합니다. 그러나 기존 방법들은 세 가지 주요 과제를 동시에 해결하는 데 어려움을 겪고 있습니다: 1) 보정되지 않은 입력을 실시간으로 처리, 2) 동적 장면의 진화를 정확하게 모델링, 3) 장기적인 안정성과 계산 효율성 유지. 이를 위해, 우리는 임의 길이의 보정되지 않은 비디오 스트림을 동적 3D 가우시안 스플래팅(3DGS) 표현으로 온라인 방식으로 변환할 수 있는 첫 번째 완전 순방향 프레임워크인 StreamSplat을 소개합니다. 이 프레임워크는 시간적으로 국소적인 관찰로부터 장면 동역학을 복구할 수 있습니다. 우리는 두 가지 주요 기술 혁신을 제안합니다: 3DGS 위치 예측을 위한 정적 인코더의 확률적 샘플링 메커니즘과, 강력하고 효율적인 동적 모델링을 가능하게 하는 동적 디코더의 양방향 변형 필드입니다. 정적 및 동적 벤치마크에 대한 광범위한 실험을 통해 StreamSplat이 재구성 품질과 동적 장면 모델링 모두에서 기존 작업들을 일관되게 능가하며, 임의 길이의 비디오 스트림의 온라인 재구성을 독자적으로 지원함을 입증했습니다. 코드와 모델은 https://github.com/nickwzk/StreamSplat에서 확인할 수 있습니다.

English

Real-time reconstruction of dynamic 3D scenes from uncalibrated video streams is crucial for numerous real-world applications. However, existing methods struggle to jointly address three key challenges: 1) processing uncalibrated inputs in real time, 2) accurately modeling dynamic scene evolution, and 3) maintaining long-term stability and computational efficiency. To this end, we introduce StreamSplat, the first fully feed-forward framework that transforms uncalibrated video streams of arbitrary length into dynamic 3D Gaussian Splatting (3DGS) representations in an online manner, capable of recovering scene dynamics from temporally local observations. We propose two key technical innovations: a probabilistic sampling mechanism in the static encoder for 3DGS position prediction, and a bidirectional deformation field in the dynamic decoder that enables robust and efficient dynamic modeling. Extensive experiments on static and dynamic benchmarks demonstrate that StreamSplat consistently outperforms prior works in both reconstruction quality and dynamic scene modeling, while uniquely supporting online reconstruction of arbitrarily long video streams. Code and models are available at https://github.com/nickwzk/StreamSplat.