SpatialVID: Um Grande Conjunto de Dados de Vídeo com Anotações Espaciais

SpatialVID: A Large-Scale Video Dataset with Spatial Annotations

September 11, 2025

Autores: Jiahao Wang, Yufeng Yuan, Rujie Zheng, Youtian Lin, Jian Gao, Lin-Zhuo Chen, Yajie Bao, Yi Zhang, Chang Zeng, Yanxi Zhou, Xiaoxiao Long, Hao Zhu, Zhaoxiang Zhang, Xun Cao, Yao Yao

cs.AI

Resumo

Progressos significativos foram alcançados na inteligência espacial, abrangendo tanto a reconstrução espacial quanto a exploração do mundo. No entanto, a escalabilidade e a fidelidade ao mundo real dos modelos atuais permanecem severamente limitadas pela escassez de dados de treinamento em grande escala e de alta qualidade. Embora vários conjuntos de dados forneçam informações sobre a pose da câmera, eles são tipicamente limitados em escala, diversidade e riqueza de anotações, especialmente para cenas dinâmicas do mundo real com movimentos de câmera de verdade absoluta. Para isso, coletamos o SpatialVID, um conjunto de dados que consiste em um grande corpus de vídeos capturados em ambientes reais, com cenas diversas, movimentos de câmera e anotações 3D densas, como poses de câmera por quadro, profundidade e instruções de movimento. Especificamente, coletamos mais de 21.000 horas de vídeo bruto e as processamos em 2,7 milhões de clipes por meio de um pipeline de filtragem hierárquica, totalizando 7.089 horas de conteúdo dinâmico. Um pipeline subsequente de anotação enriquece esses clipes com informações espaciais e semânticas detalhadas, incluindo poses de câmera, mapas de profundidade, máscaras dinâmicas, legendas estruturadas e instruções de movimento serializadas. A análise das estatísticas dos dados do SpatialVID revela uma riqueza e diversidade que promovem diretamente a melhoria da generalização e do desempenho dos modelos, estabelecendo-o como um recurso essencial para a comunidade de pesquisa em visão 3D e vídeo.

English

Significant progress has been made in spatial intelligence, spanning both spatial reconstruction and world exploration. However, the scalability and real-world fidelity of current models remain severely constrained by the scarcity of large-scale, high-quality training data. While several datasets provide camera pose information, they are typically limited in scale, diversity, and annotation richness, particularly for real-world dynamic scenes with ground-truth camera motion. To this end, we collect SpatialVID, a dataset consists of a large corpus of in-the-wild videos with diverse scenes, camera movements and dense 3D annotations such as per-frame camera poses, depth, and motion instructions. Specifically, we collect more than 21,000 hours of raw video, and process them into 2.7 million clips through a hierarchical filtering pipeline, totaling 7,089 hours of dynamic content. A subsequent annotation pipeline enriches these clips with detailed spatial and semantic information, including camera poses, depth maps, dynamic masks, structured captions, and serialized motion instructions. Analysis of SpatialVID's data statistics reveals a richness and diversity that directly foster improved model generalization and performance, establishing it as a key asset for the video and 3D vision research community.