AnyGroundBench: Специализированный бенчмарк для локализации видео в визуально-языковых моделях

Аннотация

Модели «зрение-язык» (Vision-Language Models, VLM) продемонстрировали огромный потенциал в задаче пространственно-временной привязки видео (Spatio-Temporal Video Grounding, STVG). Однако текущие протоколы оценки в значительной степени ограничены тестированием в режиме нулевого обучения (zero-shot) на общих, повседневных эталонах. Это создаёт критический разрыв с реальными приложениями в специализированных областях, где модели неизбежно сталкиваются с редкими визуальными концепциями и сложной пространственно-временной динамикой. Поскольку исчерпывающее предварительное обучение на бесконечных распределениях данных нецелесообразно, способность адаптироваться к новым доменам является необходимой. Для преодоления этого разрыва мы представляем AnyGroundBench — эталон для адаптации к доменам, предназначенный для смещения парадигмы оценки STVG от статического тестирования zero-shot к строгой доменной адаптации. Ориентируясь на пять специализированных доменов (животные, промышленность, спорт, хирургия и общественная безопасность), AnyGroundBench объединяет вновь записанные видео, такие как поведение мышей, аннотированное экспертами, с существующими наборами данных, унифицируя их с помощью плотных и высокоточных пространственно-временных аннотаций. Важно, что эталон предоставляет выделенные обучающие подмножества для систематического измерения адаптируемости к доменам. Мы провели обширную оценку 15 современных VLM, исследуя их способность к обобщению в режиме zero-shot и обучению в контексте (In-Context Learning, ICL) при практических вычислительных ограничениях. В итоге наши результаты показывают, что современные модели терпят неудачу как в нулевом обучении, так и в адаптации на основе ICL при столкновении со специализированными доменами, выявляя критические недостатки в пространственно-временном рассуждении, которые должны быть устранены в будущих исследованиях.

English

Vision-Language Models (VLMs) have demonstrated immense promise in Spatio-Temporal Video Grounding (STVG). However, current evaluation protocols are largely confined to zero-shot assessments on general, daily-life benchmarks. This creates a critical disconnect from real-world applications in specialized fields, where models inevitably encounter rare visual concepts and complex spatio-temporal dynamics. Since exhaustive pre-training across infinite data distributions is infeasible, the ability to adapt to novel domains is essential. To bridge this gap, we introduce AnyGroundBench, a domain-adaptation benchmark designed to shift the STVG evaluation paradigm from static zero-shot testing to rigorous domain adaptation. Targeting five specialized domains (animal, industry, sports, surgery, and public security), AnyGroundBench pairs newly captured videos such as expert-annotated mouse behaviors with established datasets, unifying them through dense, high-fidelity spatio-temporal annotations. Crucially, the benchmark provides dedicated training subsets to systematically measure domain adaptability. We extensively evaluate 15 state-of-the-art VLMs, assessing their zero-shot generalization and In-Context Learning (ICL) capabilities under practical computational constraints. Ultimately, our findings reveal that current models fail in both zero-shot and ICL-based adaptation when confronted with specialized domains, exposing critical flaws in spatio-temporal reasoning that future research must address.