VGenST-Bench: 능동적 비디오 합성을 통한 시공간 추론을 위한 벤치마크

초록

시공간 추론은 실제 세계에서 작동하는 다중모달 대규모 언어 모델(MLLM)의 핵심 능력이다. 따라서 이를 정확하게 평가하는 것은 필수적인 과제가 되었다. 그러나 기존의 시공간 추론 벤치마크 데이터셋은 주로 정적 이미지 세트나 수동으로 선별된 비디오 데이터에 의존하여 세분화된 추론 능력 평가에 한계가 있다. 본 논문에서는 생성 모델을 사용하여 고도로 통제되고 다양한 평가 시나리오를 능동적으로 합성하는 비디오 벤치마크인 VGenST-Bench를 소개한다. VGenST-Bench를 구축하기 위해 인간 품질 관리 단계를 통합한 다중 에이전트 파이프라인을 제안하여 생성된 모든 비디오와 QA 쌍의 품질을 보장한다. 다양한 시나리오를 포괄하기 위해 공간 규모, 시점 및 장면 역학을 포함하는 포괄적인 3x2x2 비디오 분류 체계를 구축한다. 또한 저수준 시각 지각과 고수준 시공간 추론을 분리하는 계층적 작업 모음을 설계한다. 수동 선별에서 능동 합성으로 패러다임을 전환함으로써 VGenST-Bench는 MLLM의 시공간 이해에 대한 세분화된 진단을 가능하게 한다.

English

Spatio-temporal reasoning is a core capability for Multimodal Large Language Models (MLLMs) operating in the real world. As such, evaluating it precisely has become an essential challenge. However, existing spatio-temporal reasoning benchmark datasets primarily rely on static image sets or passively curated video data, which limits the evaluation of fine-grained reasoning capabilities. In this paper, we introduce VGenST-Bench, a video benchmark that employs generative models to actively synthesize highly controlled and diverse evaluation scenarios. To construct VGenST-Bench, we propose a multi-agent pipeline incorporating a human quality control stage, ensuring the quality of all generated videos and QA pairs. We establish a comprehensive 3x2x2 video taxonomy, encompassing Spatial Scale, Perspective, and Scene Dynamics to span diverse scenarios. Furthermore, we design a hierarchical task suite that decouples low-level visual perception from high-level spatio-temporal reasoning. By shifting the paradigm from passive curation to active synthesis, VGenST-Bench enables fine-grained diagnosis of spatio-temporal understanding in MLLMs.