AnyGroundBench: Ein domänenspezifischer Benchmark für Video-Grounding in Vision-Language-Modellen

Zusammenfassung

Vision-Language-Modelle (VLMs) haben enormes Potenzial im Bereich des räumlich-zeitlichen Video Groundings (STVG) gezeigt. Allerdings beschränken sich die derzeitigen Evaluierungsprotokolle weitgehend auf Zero-Shot-Bewertungen auf allgemeinen, alltäglichen Benchmarks. Dies führt zu einer kritischen Diskrepanz zu realen Anwendungen in spezialisierten Bereichen, in denen Modelle zwangsläufig auf seltene visuelle Konzepte und komplexe räumlich-zeitliche Dynamiken treffen. Da ein erschöpfendes Vortraining über unendliche Datenverteilungen hinweg nicht durchführbar ist, ist die Fähigkeit zur Anpassung an neue Domänen unerlässlich. Um diese Lücke zu schließen, führen wir AnyGroundBench ein, einen Domänenanpassungs-Benchmark, der darauf abzielt, das STVG-Evaluierungsparadigma von statischen Zero-Shot-Tests hin zu einer rigorosen Domänenanpassung zu verschieben. Mit Fokus auf fünf spezialisierte Domänen (Tiere, Industrie, Sport, Chirurgie und öffentliche Sicherheit) kombiniert AnyGroundBench neu aufgenommene Videos, wie z.B. fachmännisch annotiertes Mäuseverhalten, mit etablierten Datensätzen und vereinheitlicht sie durch dichte, hochgetreue räumlich-zeitliche Annotationen. Entscheidend ist, dass der Benchmark dedizierte Trainingssubsets bereitstellt, um die Domänenanpassungsfähigkeit systematisch zu messen. Wir evaluieren umfassend 15 moderne VLMs und bewerten ihre Zero-Shot-Generalisierung und In-Context-Learning-Fähigkeiten (ICL) unter praktischen Rechenbeschränkungen. Letztendlich zeigen unsere Ergebnisse, dass aktuelle Modelle sowohl bei der Zero-Shot- als auch bei der ICL-basierten Anpassung versagen, wenn sie mit spezialisierten Domänen konfrontiert werden, und offenbaren kritische Schwächen im räumlich-zeitlichen Denken, die zukünftige Forschung adressieren muss.

English

Vision-Language Models (VLMs) have demonstrated immense promise in Spatio-Temporal Video Grounding (STVG). However, current evaluation protocols are largely confined to zero-shot assessments on general, daily-life benchmarks. This creates a critical disconnect from real-world applications in specialized fields, where models inevitably encounter rare visual concepts and complex spatio-temporal dynamics. Since exhaustive pre-training across infinite data distributions is infeasible, the ability to adapt to novel domains is essential. To bridge this gap, we introduce AnyGroundBench, a domain-adaptation benchmark designed to shift the STVG evaluation paradigm from static zero-shot testing to rigorous domain adaptation. Targeting five specialized domains (animal, industry, sports, surgery, and public security), AnyGroundBench pairs newly captured videos such as expert-annotated mouse behaviors with established datasets, unifying them through dense, high-fidelity spatio-temporal annotations. Crucially, the benchmark provides dedicated training subsets to systematically measure domain adaptability. We extensively evaluate 15 state-of-the-art VLMs, assessing their zero-shot generalization and In-Context Learning (ICL) capabilities under practical computational constraints. Ultimately, our findings reveal that current models fail in both zero-shot and ICL-based adaptation when confronted with specialized domains, exposing critical flaws in spatio-temporal reasoning that future research must address.