AnyGroundBench: 視覚言語モデルにおけるビデオグラウンディングのための特化領域ベンチマーク

要旨

視覚言語モデル（VLM）は、時空間ビデオグラウンディング（STVG）において極めて大きな可能性を示してきた。しかし、現在の評価プロトコルは、主に一般的な日常ベンチマークにおけるゼロショット評価に限定されている。これにより、モデルが必然的に稀な視覚概念や複雑な時空間ダイナミクスに直面する専門分野における実世界応用との間に重大な乖離が生じている。無限のデータ分布にわたる網羅的な事前学習は非現実的であるため、新たな領域に適応する能力が不可欠である。このギャップを埋めるため、我々はAnyGroundBenchを導入する。これは、STVGの評価パラダイムを静的なゼロショットテストから厳密なドメイン適応へと転換するために設計されたドメイン適応ベンチマークである。動物、産業、スポーツ、手術、公共安全という五つの専門領域を対象として、AnyGroundBenchは、専門家がアノテーションしたマウスの行動など新たに収録されたビデオと既存のデータセットを対にし、高密度で忠実度の高い時空間アノテーションを通じてそれらを統合する。重要なことに、本ベンチマークはドメイン適応性を体系的に測定するための専用の訓練サブセットを提供する。我々は15の最先端VLMを広範囲に評価し、実用的な計算制約下でのゼロショット汎化能力と文脈内学習（ICL）能力を検証する。最終的に、我々の知見は、現在のモデルが専門領域に直面した場合にゼロショット適応およびICLベースの適応の両方において失敗し、将来の研究が対処すべき時空間推論における重大な欠陥を露呈することを明らかにしている。

English

Vision-Language Models (VLMs) have demonstrated immense promise in Spatio-Temporal Video Grounding (STVG). However, current evaluation protocols are largely confined to zero-shot assessments on general, daily-life benchmarks. This creates a critical disconnect from real-world applications in specialized fields, where models inevitably encounter rare visual concepts and complex spatio-temporal dynamics. Since exhaustive pre-training across infinite data distributions is infeasible, the ability to adapt to novel domains is essential. To bridge this gap, we introduce AnyGroundBench, a domain-adaptation benchmark designed to shift the STVG evaluation paradigm from static zero-shot testing to rigorous domain adaptation. Targeting five specialized domains (animal, industry, sports, surgery, and public security), AnyGroundBench pairs newly captured videos such as expert-annotated mouse behaviors with established datasets, unifying them through dense, high-fidelity spatio-temporal annotations. Crucially, the benchmark provides dedicated training subsets to systematically measure domain adaptability. We extensively evaluate 15 state-of-the-art VLMs, assessing their zero-shot generalization and In-Context Learning (ICL) capabilities under practical computational constraints. Ultimately, our findings reveal that current models fail in both zero-shot and ICL-based adaptation when confronted with specialized domains, exposing critical flaws in spatio-temporal reasoning that future research must address.