VGenST-Bench: 能動的ビデオ合成による時空間推論のためのベンチマーク

要旨

時空間推論は、実世界で動作するマルチモーダル大規模言語モデル（MLLM）にとって中核的な能力である。そのため、これを正確に評価することは重要な課題となっている。しかし、既存の時空間推論ベンチマークデータセットは主に静的な画像セットや受動的に収集されたビデオデータに依存しており、細粒度の推論能力の評価を制限している。本論文では、生成モデルを用いて高度に制御された多様な評価シナリオを能動的に合成するビデオベンチマーク、VGenST-Benchを提案する。VGenST-Benchを構築するために、人間による品質管理段階を組み込んだマルチエージェントパイプラインを導入し、生成されるすべてのビデオとQAペアの品質を保証する。また、空間スケール、視点、シーンダイナミクスを含む包括的な3×2×2のビデオ分類体系を確立し、多様なシナリオを網羅する。さらに、低レベルの視覚知覚と高レベルの時空間推論を分離する階層的タスクスイートを設計する。受動的なキュレーションから能動的な合成へのパラダイムシフトにより、VGenST-BenchはMLLMにおける時空間理解の詳細な診断を可能にする。

English

Spatio-temporal reasoning is a core capability for Multimodal Large Language Models (MLLMs) operating in the real world. As such, evaluating it precisely has become an essential challenge. However, existing spatio-temporal reasoning benchmark datasets primarily rely on static image sets or passively curated video data, which limits the evaluation of fine-grained reasoning capabilities. In this paper, we introduce VGenST-Bench, a video benchmark that employs generative models to actively synthesize highly controlled and diverse evaluation scenarios. To construct VGenST-Bench, we propose a multi-agent pipeline incorporating a human quality control stage, ensuring the quality of all generated videos and QA pairs. We establish a comprehensive 3x2x2 video taxonomy, encompassing Spatial Scale, Perspective, and Scene Dynamics to span diverse scenarios. Furthermore, we design a hierarchical task suite that decouples low-level visual perception from high-level spatio-temporal reasoning. By shifting the paradigm from passive curation to active synthesis, VGenST-Bench enables fine-grained diagnosis of spatio-temporal understanding in MLLMs.