SpatialVID: Een grootschalige videodataset met ruimtelijke annotaties

SpatialVID: A Large-Scale Video Dataset with Spatial Annotations

September 11, 2025

Auteurs: Jiahao Wang, Yufeng Yuan, Rujie Zheng, Youtian Lin, Jian Gao, Lin-Zhuo Chen, Yajie Bao, Yi Zhang, Chang Zeng, Yanxi Zhou, Xiaoxiao Long, Hao Zhu, Zhaoxiang Zhang, Xun Cao, Yao Yao

cs.AI

Samenvatting

Er is aanzienlijke vooruitgang geboekt op het gebied van ruimtelijke intelligentie, zowel op het gebied van ruimtelijke reconstructie als wereldverkenning. De schaalbaarheid en realistische nauwkeurigheid van huidige modellen worden echter ernstig beperkt door het gebrek aan grootschalige, hoogwaardige trainingsdata. Hoewel verschillende datasets camerapositie-informatie bieden, zijn deze doorgaans beperkt in schaal, diversiteit en annotatierijkdom, vooral voor realistische dynamische scènes met grondwaarheidscamerabewegingen. Daarom hebben we SpatialVID verzameld, een dataset die bestaat uit een grote verzameling in-the-wild video's met diverse scènes, camerabewegingen en dichte 3D-annotaties zoals per-frame cameraposities, diepte en bewegingsinstructies. Specifiek hebben we meer dan 21.000 uur aan ruwe video verzameld en deze verwerkt tot 2,7 miljoen clips via een hiërarchisch filterpijplijn, wat in totaal 7.089 uur dynamische content oplevert. Een daaropvolgende annotatiepijplijn verrijkt deze clips met gedetailleerde ruimtelijke en semantische informatie, waaronder cameraposities, dieptekaarten, dynamische maskers, gestructureerde bijschriften en geserialiseerde bewegingsinstructies. Analyse van de datastatistieken van SpatialVID onthult een rijkdom en diversiteit die direct bijdragen aan verbeterde modelgeneralizatie en prestaties, waardoor het een belangrijk hulpmiddel wordt voor de video- en 3D-visieonderzoeksgemeenschap.

English

Significant progress has been made in spatial intelligence, spanning both spatial reconstruction and world exploration. However, the scalability and real-world fidelity of current models remain severely constrained by the scarcity of large-scale, high-quality training data. While several datasets provide camera pose information, they are typically limited in scale, diversity, and annotation richness, particularly for real-world dynamic scenes with ground-truth camera motion. To this end, we collect SpatialVID, a dataset consists of a large corpus of in-the-wild videos with diverse scenes, camera movements and dense 3D annotations such as per-frame camera poses, depth, and motion instructions. Specifically, we collect more than 21,000 hours of raw video, and process them into 2.7 million clips through a hierarchical filtering pipeline, totaling 7,089 hours of dynamic content. A subsequent annotation pipeline enriches these clips with detailed spatial and semantic information, including camera poses, depth maps, dynamic masks, structured captions, and serialized motion instructions. Analysis of SpatialVID's data statistics reveals a richness and diversity that directly foster improved model generalization and performance, establishing it as a key asset for the video and 3D vision research community.