SpatialVID: Ein umfangreicher Videodatensatz mit räumlichen Annotationen
SpatialVID: A Large-Scale Video Dataset with Spatial Annotations
September 11, 2025
papers.authors: Jiahao Wang, Yufeng Yuan, Rujie Zheng, Youtian Lin, Jian Gao, Lin-Zhuo Chen, Yajie Bao, Yi Zhang, Chang Zeng, Yanxi Zhou, Xiaoxiao Long, Hao Zhu, Zhaoxiang Zhang, Xun Cao, Yao Yao
cs.AI
papers.abstract
Erhebliche Fortschritte wurden im Bereich der räumlichen Intelligenz erzielt, die sowohl die räumliche Rekonstruktion als auch die Erkundung der Welt umfassen. Die Skalierbarkeit und die realitätsnahe Genauigkeit aktueller Modelle bleiben jedoch stark durch den Mangel an groß angelegten, hochwertigen Trainingsdaten eingeschränkt. Obwohl mehrere Datensätze Kamerapositionsinformationen bereitstellen, sind diese in der Regel in Bezug auf Umfang, Vielfalt und Annotationsreichtum begrenzt, insbesondere für reale dynamische Szenen mit exakten Kamerabewegungen. Zu diesem Zweck haben wir SpatialVID gesammelt, einen Datensatz, der aus einer großen Sammlung von Videos in natürlicher Umgebung mit vielfältigen Szenen, Kamerabewegungen und dichten 3D-Annotationen wie Kamerapositionen pro Frame, Tiefeninformationen und Bewegungsanweisungen besteht. Konkret haben wir mehr als 21.000 Stunden Rohvideo gesammelt und diese durch einen hierarchischen Filterungsprozess in 2,7 Millionen Clips verarbeitet, die insgesamt 7.089 Stunden dynamischen Inhalts umfassen. Ein anschließender Annotationsprozess bereichert diese Clips mit detaillierten räumlichen und semantischen Informationen, einschließlich Kamerapositionen, Tiefenkarten, dynamischen Masken, strukturierten Beschreibungen und serialisierten Bewegungsanweisungen. Die Analyse der Datenstatistiken von SpatialVID zeigt eine Fülle und Vielfalt, die direkt die Generalisierungsfähigkeit und Leistung von Modellen verbessern, und etabliert den Datensatz als eine zentrale Ressource für die Video- und 3D-Vision-Forschungsgemeinschaft.
English
Significant progress has been made in spatial intelligence, spanning both
spatial reconstruction and world exploration. However, the scalability and
real-world fidelity of current models remain severely constrained by the
scarcity of large-scale, high-quality training data. While several datasets
provide camera pose information, they are typically limited in scale,
diversity, and annotation richness, particularly for real-world dynamic scenes
with ground-truth camera motion. To this end, we collect SpatialVID, a
dataset consists of a large corpus of in-the-wild videos with diverse scenes,
camera movements and dense 3D annotations such as per-frame camera poses,
depth, and motion instructions. Specifically, we collect more than 21,000 hours
of raw video, and process them into 2.7 million clips through a hierarchical
filtering pipeline, totaling 7,089 hours of dynamic content. A subsequent
annotation pipeline enriches these clips with detailed spatial and semantic
information, including camera poses, depth maps, dynamic masks, structured
captions, and serialized motion instructions. Analysis of SpatialVID's data
statistics reveals a richness and diversity that directly foster improved model
generalization and performance, establishing it as a key asset for the video
and 3D vision research community.