SpatialVID : Un vaste ensemble de données vidéo avec annotations spatiales

papers.abstract

Des progrès significatifs ont été réalisés dans le domaine de l'intelligence spatiale, couvrant à la fois la reconstruction spatiale et l'exploration du monde. Cependant, l'évolutivité et la fidélité au monde réel des modèles actuels restent sévèrement limitées par la rareté de données d'entraînement à grande échelle et de haute qualité. Bien que plusieurs ensembles de données fournissent des informations sur la pose de la caméra, ils sont généralement limités en termes d'échelle, de diversité et de richesse d'annotations, en particulier pour les scènes dynamiques du monde réel avec des mouvements de caméra de référence. À cette fin, nous avons constitué SpatialVID, un ensemble de données composé d'un vaste corpus de vidéos en conditions réelles avec des scènes variées, des mouvements de caméra et des annotations 3D denses telles que les poses de caméra par image, la profondeur et les instructions de mouvement. Plus précisément, nous avons collecté plus de 21 000 heures de vidéo brute, que nous avons traitées en 2,7 millions de clips grâce à un pipeline de filtrage hiérarchique, totalisant 7 089 heures de contenu dynamique. Un pipeline d'annotation ultérieur enrichit ces clips avec des informations spatiales et sémantiques détaillées, incluant les poses de caméra, les cartes de profondeur, les masques dynamiques, les légendes structurées et les instructions de mouvement sérialisées. L'analyse des statistiques des données de SpatialVID révèle une richesse et une diversité qui favorisent directement l'amélioration de la généralisation et des performances des modèles, établissant ainsi cet ensemble de données comme un atout clé pour la communauté de recherche en vision vidéo et 3D.

English

Significant progress has been made in spatial intelligence, spanning both spatial reconstruction and world exploration. However, the scalability and real-world fidelity of current models remain severely constrained by the scarcity of large-scale, high-quality training data. While several datasets provide camera pose information, they are typically limited in scale, diversity, and annotation richness, particularly for real-world dynamic scenes with ground-truth camera motion. To this end, we collect SpatialVID, a dataset consists of a large corpus of in-the-wild videos with diverse scenes, camera movements and dense 3D annotations such as per-frame camera poses, depth, and motion instructions. Specifically, we collect more than 21,000 hours of raw video, and process them into 2.7 million clips through a hierarchical filtering pipeline, totaling 7,089 hours of dynamic content. A subsequent annotation pipeline enriches these clips with detailed spatial and semantic information, including camera poses, depth maps, dynamic masks, structured captions, and serialized motion instructions. Analysis of SpatialVID's data statistics reveals a richness and diversity that directly foster improved model generalization and performance, establishing it as a key asset for the video and 3D vision research community.

SpatialVID : Un vaste ensemble de données vidéo avec annotations spatiales

SpatialVID: A Large-Scale Video Dataset with Spatial Annotations

papers.abstract

Support