SpatialVID: Масштабный видеонабор данных с пространственными аннотациями
SpatialVID: A Large-Scale Video Dataset with Spatial Annotations
September 11, 2025
Авторы: Jiahao Wang, Yufeng Yuan, Rujie Zheng, Youtian Lin, Jian Gao, Lin-Zhuo Chen, Yajie Bao, Yi Zhang, Chang Zeng, Yanxi Zhou, Xiaoxiao Long, Hao Zhu, Zhaoxiang Zhang, Xun Cao, Yao Yao
cs.AI
Аннотация
Значительный прогресс был достигнут в области пространственного интеллекта, охватывающей как пространственную реконструкцию, так и исследование окружающего мира. Однако масштабируемость и реалистичность текущих моделей остаются серьезно ограниченными из-за недостатка крупномасштабных, высококачественных данных для обучения. Хотя несколько наборов данных предоставляют информацию о положении камеры, они, как правило, ограничены по масштабу, разнообразию и богатству аннотаций, особенно для реальных динамических сцен с точными данными о движении камеры. В связи с этим мы собрали SpatialVID — набор данных, состоящий из большого корпуса видеороликов, снятых в естественных условиях, с разнообразными сценами, движениями камеры и плотными 3D-аннотациями, такими как положение камеры для каждого кадра, глубина и инструкции по движению. В частности, мы собрали более 21 000 часов исходного видео и обработали их в 2,7 миллиона клипов с помощью иерархического фильтрующего конвейера, что в сумме составляет 7 089 часов динамического контента. Последующий конвейер аннотаций обогащает эти клипы детальной пространственной и семантической информацией, включая положение камеры, карты глубины, динамические маски, структурированные описания и последовательные инструкции по движению. Анализ статистики данных SpatialVID демонстрирует их богатство и разнообразие, что напрямую способствует улучшению обобщения и производительности моделей, делая этот набор данных ключевым ресурсом для сообщества исследователей в области видео и 3D-зрения.
English
Significant progress has been made in spatial intelligence, spanning both
spatial reconstruction and world exploration. However, the scalability and
real-world fidelity of current models remain severely constrained by the
scarcity of large-scale, high-quality training data. While several datasets
provide camera pose information, they are typically limited in scale,
diversity, and annotation richness, particularly for real-world dynamic scenes
with ground-truth camera motion. To this end, we collect SpatialVID, a
dataset consists of a large corpus of in-the-wild videos with diverse scenes,
camera movements and dense 3D annotations such as per-frame camera poses,
depth, and motion instructions. Specifically, we collect more than 21,000 hours
of raw video, and process them into 2.7 million clips through a hierarchical
filtering pipeline, totaling 7,089 hours of dynamic content. A subsequent
annotation pipeline enriches these clips with detailed spatial and semantic
information, including camera poses, depth maps, dynamic masks, structured
captions, and serialized motion instructions. Analysis of SpatialVID's data
statistics reveals a richness and diversity that directly foster improved model
generalization and performance, establishing it as a key asset for the video
and 3D vision research community.