SpatialVID: Un Conjunto de Datos de Video a Gran Escala con Anotaciones Espaciales

SpatialVID: A Large-Scale Video Dataset with Spatial Annotations

September 11, 2025

Autores: Jiahao Wang, Yufeng Yuan, Rujie Zheng, Youtian Lin, Jian Gao, Lin-Zhuo Chen, Yajie Bao, Yi Zhang, Chang Zeng, Yanxi Zhou, Xiaoxiao Long, Hao Zhu, Zhaoxiang Zhang, Xun Cao, Yao Yao

cs.AI

Resumen

Se ha logrado un progreso significativo en la inteligencia espacial, abarcando tanto la reconstrucción espacial como la exploración del mundo. Sin embargo, la escalabilidad y la fidelidad en el mundo real de los modelos actuales siguen estando severamente limitadas por la escasez de datos de entrenamiento a gran escala y de alta calidad. Aunque varios conjuntos de datos proporcionan información sobre la pose de la cámara, suelen estar limitados en escala, diversidad y riqueza de anotaciones, especialmente para escenas dinámicas del mundo real con movimiento de cámara de referencia. Con este fin, recopilamos SpatialVID, un conjunto de datos que consiste en un gran corpus de videos en entornos naturales con escenas diversas, movimientos de cámara y anotaciones 3D densas, como poses de cámara por fotograma, profundidad e instrucciones de movimiento. Específicamente, recopilamos más de 21,000 horas de video en bruto y las procesamos en 2.7 millones de clips mediante una canalización de filtrado jerárquico, totalizando 7,089 horas de contenido dinámico. Una canalización de anotación posterior enriquece estos clips con información espacial y semántica detallada, incluyendo poses de cámara, mapas de profundidad, máscaras dinámicas, subtítulos estructurados e instrucciones de movimiento serializadas. El análisis de las estadísticas de datos de SpatialVID revela una riqueza y diversidad que fomentan directamente una mejor generalización y rendimiento de los modelos, estableciéndolo como un recurso clave para la comunidad de investigación en visión 3D y video.

English

Significant progress has been made in spatial intelligence, spanning both spatial reconstruction and world exploration. However, the scalability and real-world fidelity of current models remain severely constrained by the scarcity of large-scale, high-quality training data. While several datasets provide camera pose information, they are typically limited in scale, diversity, and annotation richness, particularly for real-world dynamic scenes with ground-truth camera motion. To this end, we collect SpatialVID, a dataset consists of a large corpus of in-the-wild videos with diverse scenes, camera movements and dense 3D annotations such as per-frame camera poses, depth, and motion instructions. Specifically, we collect more than 21,000 hours of raw video, and process them into 2.7 million clips through a hierarchical filtering pipeline, totaling 7,089 hours of dynamic content. A subsequent annotation pipeline enriches these clips with detailed spatial and semantic information, including camera poses, depth maps, dynamic masks, structured captions, and serialized motion instructions. Analysis of SpatialVID's data statistics reveals a richness and diversity that directly foster improved model generalization and performance, establishing it as a key asset for the video and 3D vision research community.