AnyGroundBench : Un benchmark de domaine spécialisé pour l’ancrage vidéo dans les modèles vision-langage

Résumé

Les Modèles Vision-Langage (MVL) ont démontré un immense potentiel dans la Localisation Spatio-Temporelle Vidéo (LSTV). Cependant, les protocoles d'évaluation actuels se limitent largement à des tests en mode zéro-shot sur des référentiels généraux de la vie courante. Cela crée un décalage critique avec les applications réelles dans des domaines spécialisés, où les modèles rencontrent inévitablement des concepts visuels rares et des dynamiques spatio-temporelles complexes. Étant donné qu'un pré-entraînement exhaustif sur des distributions de données infinies est irréalisable, la capacité à s'adapter à de nouveaux domaines est essentielle. Pour combler cette lacune, nous introduisons AnyGroundBench, un référentiel d'adaptation de domaine conçu pour faire évoluer le paradigme d'évaluation de la LSTV, passant de tests statiques en zéro-shot à une adaptation rigoureuse de domaine. Ciblant cinq domaines spécialisés (animal, industrie, sport, chirurgie et sécurité publique), AnyGroundBench associe des vidéos nouvellement capturées, telles que des comportements de souris annotés par des experts, à des ensembles de données établis, en les unifiant grâce à des annotations spatio-temporelles denses et haute fidélité. De manière cruciale, le référentiel fournit des sous-ensembles d'entraînement dédiés pour mesurer systématiquement l'adaptabilité au domaine. Nous évaluons en profondeur 15 MVL de pointe, en examinant leur généralisation en zéro-shot et leurs capacités d'Apprentissage en Contexte (AC) sous des contraintes computationnelles pratiques. En définitive, nos résultats révèlent que les modèles actuels échouent tant en adaptation zéro-shot que basée sur l'AC lorsqu'ils sont confrontés à des domaines spécialisés, exposant des failles critiques dans le raisonnement spatio-temporel que les recherches futures devront aborder.

English

Vision-Language Models (VLMs) have demonstrated immense promise in Spatio-Temporal Video Grounding (STVG). However, current evaluation protocols are largely confined to zero-shot assessments on general, daily-life benchmarks. This creates a critical disconnect from real-world applications in specialized fields, where models inevitably encounter rare visual concepts and complex spatio-temporal dynamics. Since exhaustive pre-training across infinite data distributions is infeasible, the ability to adapt to novel domains is essential. To bridge this gap, we introduce AnyGroundBench, a domain-adaptation benchmark designed to shift the STVG evaluation paradigm from static zero-shot testing to rigorous domain adaptation. Targeting five specialized domains (animal, industry, sports, surgery, and public security), AnyGroundBench pairs newly captured videos such as expert-annotated mouse behaviors with established datasets, unifying them through dense, high-fidelity spatio-temporal annotations. Crucially, the benchmark provides dedicated training subsets to systematically measure domain adaptability. We extensively evaluate 15 state-of-the-art VLMs, assessing their zero-shot generalization and In-Context Learning (ICL) capabilities under practical computational constraints. Ultimately, our findings reveal that current models fail in both zero-shot and ICL-based adaptation when confronted with specialized domains, exposing critical flaws in spatio-temporal reasoning that future research must address.