AnyGroundBench: Un Benchmark de Dominio Especializado para la Localización de Video en Modelos de Visión y Lenguaje

Resumen

Los Modelos de Visión y Lenguaje (VLMs) han demostrado un enorme potencial en el Grounding Espacio-Temporal de Video (STVG). Sin embargo, los protocolos de evaluación actuales se limitan en gran medida a evaluaciones de cero disparos en puntos de referencia generales de la vida cotidiana. Esto crea una desconexión crítica con las aplicaciones del mundo real en campos especializados, donde los modelos inevitablemente se enfrentan a conceptos visuales poco comunes y dinámicas espacio-temporales complejas. Dado que el preentrenamiento exhaustivo en distribuciones de datos infinitas es inviable, la capacidad de adaptarse a dominios novedosos resulta esencial. Para subsanar esta brecha, presentamos AnyGroundBench, un punto de referencia de adaptación a dominio diseñado para cambiar el paradigma de evaluación de STVG, pasando de pruebas estáticas de cero disparos a una adaptación rigurosa a dominio. Dirigido a cinco dominios especializados (animal, industria, deportes, cirugía y seguridad pública), AnyGroundBench empareja vídeos recién capturados, como comportamientos de ratones anotados por expertos, con conjuntos de datos consolidados, unificándolos mediante anotaciones espacio-temporales densas y de alta fidelidad. De manera crucial, el punto de referencia proporciona subconjuntos de entrenamiento dedicados para medir sistemáticamente la adaptabilidad a dominio. Evaluamos de forma exhaustiva 15 VLMs de última generación, analizando su generalización de cero disparos y su capacidad de Aprendizaje en Contexto (ICL) bajo restricciones computacionales prácticas. En última instancia, nuestros hallazgos revelan que los modelos actuales fallan tanto en la adaptación de cero disparos como en la basada en ICL al enfrentarse a dominios especializados, exponiendo deficiencias críticas en el razonamiento espacio-temporal que la investigación futura deberá abordar.

English

Vision-Language Models (VLMs) have demonstrated immense promise in Spatio-Temporal Video Grounding (STVG). However, current evaluation protocols are largely confined to zero-shot assessments on general, daily-life benchmarks. This creates a critical disconnect from real-world applications in specialized fields, where models inevitably encounter rare visual concepts and complex spatio-temporal dynamics. Since exhaustive pre-training across infinite data distributions is infeasible, the ability to adapt to novel domains is essential. To bridge this gap, we introduce AnyGroundBench, a domain-adaptation benchmark designed to shift the STVG evaluation paradigm from static zero-shot testing to rigorous domain adaptation. Targeting five specialized domains (animal, industry, sports, surgery, and public security), AnyGroundBench pairs newly captured videos such as expert-annotated mouse behaviors with established datasets, unifying them through dense, high-fidelity spatio-temporal annotations. Crucially, the benchmark provides dedicated training subsets to systematically measure domain adaptability. We extensively evaluate 15 state-of-the-art VLMs, assessing their zero-shot generalization and In-Context Learning (ICL) capabilities under practical computational constraints. Ultimately, our findings reveal that current models fail in both zero-shot and ICL-based adaptation when confronted with specialized domains, exposing critical flaws in spatio-temporal reasoning that future research must address.