SpatialVID: 空間アノテーション付き大規模ビデオデータセット

要旨

空間知能において、空間再構築と世界探索の両面で大きな進展が見られています。しかし、現在のモデルのスケーラビリティと現実世界の忠実度は、大規模で高品質な訓練データの不足によって深刻に制約されています。カメラ姿勢情報を提供するデータセットはいくつか存在しますが、それらは通常、スケール、多様性、アノテーションの豊富さにおいて限られており、特に真のカメラ運動を伴う現実世界の動的シーンにおいて顕著です。この問題に対処するため、私たちはSpatialVIDというデータセットを収集しました。このデータセットは、多様なシーン、カメラの動き、そしてフレームごとのカメラ姿勢、深度、動作指示などの密な3Dアノテーションを含む、野外で撮影された大量のビデオで構成されています。具体的には、21,000時間以上の生ビデオを収集し、階層的なフィルタリングパイプラインを通じて270万のクリップに処理し、合計7,089時間の動的コンテンツを作成しました。その後、アノテーションパイプラインにより、これらのクリップにカメラ姿勢、深度マップ、動的マスク、構造化されたキャプション、シリアライズされた動作指示などの詳細な空間的および意味的情報が付与されます。SpatialVIDのデータ統計を分析すると、モデルの汎化性能とパフォーマンスの向上に直接寄与する豊かさと多様性が明らかになり、ビデオおよび3D視覚研究コミュニティにとって重要な資産であることが確認されました。

English

Significant progress has been made in spatial intelligence, spanning both spatial reconstruction and world exploration. However, the scalability and real-world fidelity of current models remain severely constrained by the scarcity of large-scale, high-quality training data. While several datasets provide camera pose information, they are typically limited in scale, diversity, and annotation richness, particularly for real-world dynamic scenes with ground-truth camera motion. To this end, we collect SpatialVID, a dataset consists of a large corpus of in-the-wild videos with diverse scenes, camera movements and dense 3D annotations such as per-frame camera poses, depth, and motion instructions. Specifically, we collect more than 21,000 hours of raw video, and process them into 2.7 million clips through a hierarchical filtering pipeline, totaling 7,089 hours of dynamic content. A subsequent annotation pipeline enriches these clips with detailed spatial and semantic information, including camera poses, depth maps, dynamic masks, structured captions, and serialized motion instructions. Analysis of SpatialVID's data statistics reveals a richness and diversity that directly foster improved model generalization and performance, establishing it as a key asset for the video and 3D vision research community.

SpatialVID: 空間アノテーション付き大規模ビデオデータセット

SpatialVID: A Large-Scale Video Dataset with Spatial Annotations

要旨

Support