SpatialVID: Un Dataset Video su Larga Scala con Annotazioni Spaziali

SpatialVID: A Large-Scale Video Dataset with Spatial Annotations

September 11, 2025

Autori: Jiahao Wang, Yufeng Yuan, Rujie Zheng, Youtian Lin, Jian Gao, Lin-Zhuo Chen, Yajie Bao, Yi Zhang, Chang Zeng, Yanxi Zhou, Xiaoxiao Long, Hao Zhu, Zhaoxiang Zhang, Xun Cao, Yao Yao

cs.AI

Abstract

Sono stati compiuti progressi significativi nel campo dell'intelligenza spaziale, che abbraccia sia la ricostruzione spaziale che l'esplorazione del mondo. Tuttavia, la scalabilità e la fedeltà al mondo reale dei modelli attuali rimangono fortemente limitate dalla scarsità di dati di addestramento su larga scala e di alta qualità. Sebbene diversi dataset forniscano informazioni sulla posa della camera, sono tipicamente limitati in termini di scala, diversità e ricchezza delle annotazioni, specialmente per scene dinamiche del mondo reale con movimenti della camera ground-truth. A tal fine, abbiamo raccolto SpatialVID, un dataset composto da un ampio corpus di video in ambienti reali con scene diversificate, movimenti della camera e annotazioni 3D dense come pose della camera per fotogramma, profondità e istruzioni di movimento. Nello specifico, abbiamo raccolto oltre 21.000 ore di video grezzi e li abbiamo elaborati in 2,7 milioni di clip attraverso una pipeline di filtraggio gerarchico, per un totale di 7.089 ore di contenuto dinamico. Una successiva pipeline di annotazione arricchisce queste clip con informazioni spaziali e semantiche dettagliate, tra cui pose della camera, mappe di profondità, maschere dinamiche, didascalie strutturate e istruzioni di movimento serializzate. L'analisi delle statistiche dei dati di SpatialVID rivela una ricchezza e una diversità che favoriscono direttamente il miglioramento della generalizzazione e delle prestazioni dei modelli, stabilendolo come una risorsa chiave per la comunità di ricerca sulla visione video e 3D.

English

Significant progress has been made in spatial intelligence, spanning both spatial reconstruction and world exploration. However, the scalability and real-world fidelity of current models remain severely constrained by the scarcity of large-scale, high-quality training data. While several datasets provide camera pose information, they are typically limited in scale, diversity, and annotation richness, particularly for real-world dynamic scenes with ground-truth camera motion. To this end, we collect SpatialVID, a dataset consists of a large corpus of in-the-wild videos with diverse scenes, camera movements and dense 3D annotations such as per-frame camera poses, depth, and motion instructions. Specifically, we collect more than 21,000 hours of raw video, and process them into 2.7 million clips through a hierarchical filtering pipeline, totaling 7,089 hours of dynamic content. A subsequent annotation pipeline enriches these clips with detailed spatial and semantic information, including camera poses, depth maps, dynamic masks, structured captions, and serialized motion instructions. Analysis of SpatialVID's data statistics reveals a richness and diversity that directly foster improved model generalization and performance, establishing it as a key asset for the video and 3D vision research community.