VGenST-Bench: Een benchmark voor ruimtelijk-temporeel redeneren via actieve videosynthese

Samenvatting

Ruimtelijk-temporeel redeneren is een kernvaardigheid voor Multimodale Grote Taalmodellen (MLLM's) die in de echte wereld opereren. Het nauwkeurig evalueren ervan is dan ook een essentiële uitdaging geworden. Echter, bestaande benchmarkdatasets voor ruimtelijk-temporeel redeneren zijn voornamelijk gebaseerd op statische beelden of passief samengestelde videogegevens, wat de evaluatie van fijnmazige redeneervaardigheden beperkt. In dit artikel introduceren we VGenST-Bench, een videobenchmark die generatieve modellen gebruikt om actief sterk gecontroleerde en diverse evaluatiescenario's te synthetiseren. Voor de constructie van VGenST-Bench stellen we een multi-agentpijplijn voor, inclusief een menselijke kwaliteitscontrolefase, om de kwaliteit van alle gegenereerde video's en QA-paren te waarborgen. We stellen een uitgebreide 3x2x2-videotaxonomie op, die ruimtelijke schaal, perspectief en scènedynamiek omvat om diverse scenario's te bestrijken. Daarnaast ontwerpen we een hiërarchische takenreeks die laagniveau visuele perceptie ontkoppelt van hoogwaardig ruimtelijk-temporeel redeneren. Door het paradigma te verschuiven van passieve curatie naar actieve synthese, maakt VGenST-Bench een fijnmazige diagnose van ruimtelijk-temporeel begrip in MLLM's mogelijk.

English

Spatio-temporal reasoning is a core capability for Multimodal Large Language Models (MLLMs) operating in the real world. As such, evaluating it precisely has become an essential challenge. However, existing spatio-temporal reasoning benchmark datasets primarily rely on static image sets or passively curated video data, which limits the evaluation of fine-grained reasoning capabilities. In this paper, we introduce VGenST-Bench, a video benchmark that employs generative models to actively synthesize highly controlled and diverse evaluation scenarios. To construct VGenST-Bench, we propose a multi-agent pipeline incorporating a human quality control stage, ensuring the quality of all generated videos and QA pairs. We establish a comprehensive 3x2x2 video taxonomy, encompassing Spatial Scale, Perspective, and Scene Dynamics to span diverse scenarios. Furthermore, we design a hierarchical task suite that decouples low-level visual perception from high-level spatio-temporal reasoning. By shifting the paradigm from passive curation to active synthesis, VGenST-Bench enables fine-grained diagnosis of spatio-temporal understanding in MLLMs.