AnyGroundBench: 비전-언어 모델에서 비디오 그라운딩을 위한 특화 도메인 벤치마크

초록

시각-언어 모델(VLM)은 시공간 비디오 기반 추론(STVG) 분야에서 큰 가능성을 입증해 왔다. 그러나 현재의 평가 프로토콜은 주로 일반적이고 일상적인 벤치마크에 대한 제로샷 평가에 국한되어 있다. 이로 인해 전문 분야의 실제 응용과의 중요한 단절이 발생하며, 모델은 필연적으로 희귀한 시각 개념과 복잡한 시공간 역학을 마주하게 된다. 무한한 데이터 분포에 걸친 완전한 사전 학습이 불가능하기 때문에, 새로운 도메인에 적응하는 능력이 필수적이다. 이러한 격차를 해소하기 위해 우리는 AnyGroundBench를 소개한다. 이는 STVG 평가 패러다임을 정적 제로샷 테스트에서 엄격한 도메인 적응으로 전환하도록 설계된 도메인 적응 벤치마크이다. 다섯 가지 전문 도메인(동물, 산업, 스포츠, 수술, 공공 안전)을 대상으로 하는 AnyGroundBench는 전문가가 주석을 단 마우스 행동과 같은 새로 촬영된 비디오를 기존 데이터셋과 결합하여, 밀집된 고충실도 시공간 주석을 통해 이들을 통합한다. 결정적으로, 이 벤치마크는 도메인 적응성을 체계적으로 측정하기 위해 전용 학습 하위 집합을 제공한다. 우리는 15개의 최첨단 VLM을 광범위하게 평가하여, 실용적인 계산 제약 조건 하에서 제로샷 일반화 및 문맥 내 학습(ICL) 능력을 평가한다. 궁극적으로, 우리의 결과는 현재 모델이 전문 도메인에 직면했을 때 제로샷 및 ICL 기반 적응 모두에서 실패하며, 향후 연구가 반드시 해결해야 할 시공간 추론의 중요한 결함을 드러냄을 보여준다.

English

Vision-Language Models (VLMs) have demonstrated immense promise in Spatio-Temporal Video Grounding (STVG). However, current evaluation protocols are largely confined to zero-shot assessments on general, daily-life benchmarks. This creates a critical disconnect from real-world applications in specialized fields, where models inevitably encounter rare visual concepts and complex spatio-temporal dynamics. Since exhaustive pre-training across infinite data distributions is infeasible, the ability to adapt to novel domains is essential. To bridge this gap, we introduce AnyGroundBench, a domain-adaptation benchmark designed to shift the STVG evaluation paradigm from static zero-shot testing to rigorous domain adaptation. Targeting five specialized domains (animal, industry, sports, surgery, and public security), AnyGroundBench pairs newly captured videos such as expert-annotated mouse behaviors with established datasets, unifying them through dense, high-fidelity spatio-temporal annotations. Crucially, the benchmark provides dedicated training subsets to systematically measure domain adaptability. We extensively evaluate 15 state-of-the-art VLMs, assessing their zero-shot generalization and In-Context Learning (ICL) capabilities under practical computational constraints. Ultimately, our findings reveal that current models fail in both zero-shot and ICL-based adaptation when confronted with specialized domains, exposing critical flaws in spatio-temporal reasoning that future research must address.