VGenST-Bench: Ein Benchmark für räumlich-zeitliches Denken durch aktive Videosynthese

Zusammenfassung

Räumlich-zeitliches Denken ist eine Kernfähigkeit für multimodale große Sprachmodelle (MLLMs), die in der realen Welt operieren. Dementsprechend stellt die präzise Evaluierung dieser Fähigkeit eine wesentliche Herausforderung dar. Bestehende Benchmark-Datensätze zum räumlich-zeitlichen Denken basieren jedoch vorwiegend auf statischen Bildsätzen oder passiv kuratierten Videodaten, was die Evaluierung von feingranularen Denkfähigkeiten einschränkt. In dieser Arbeit stellen wir VGenST-Bench vor, einen Video-Benchmark, der generative Modelle nutzt, um aktiv hochgradig kontrollierte und vielfältige Evaluierungsszenarien zu synthetisieren. Zur Konstruktion von VGenST-Bench schlagen wir eine Multi-Agenten-Pipeline vor, die eine menschliche Qualitätskontrollstufe integriert, um die Qualität aller generierten Videos und QA-Paare sicherzustellen. Wir etablieren eine umfassende 3x2x2-Video-Taxonomie, die räumliche Skala, Perspektive und Szenendynamik umfasst, um ein breites Spektrum an Szenarien abzudecken. Darüber hinaus entwerfen wir eine hierarchische Aufgabenreihe, die die visuelle Wahrnehmung auf niedriger Ebene vom räumlich-zeitlichen Denken auf hoher Ebene entkoppelt. Durch die Verschiebung des Paradigmas von passiver Kuratierung hin zu aktiver Synthese ermöglicht VGenST-Bench eine feingranulare Diagnose des räumlich-zeitlichen Verständnisses in MLLMs.

English

Spatio-temporal reasoning is a core capability for Multimodal Large Language Models (MLLMs) operating in the real world. As such, evaluating it precisely has become an essential challenge. However, existing spatio-temporal reasoning benchmark datasets primarily rely on static image sets or passively curated video data, which limits the evaluation of fine-grained reasoning capabilities. In this paper, we introduce VGenST-Bench, a video benchmark that employs generative models to actively synthesize highly controlled and diverse evaluation scenarios. To construct VGenST-Bench, we propose a multi-agent pipeline incorporating a human quality control stage, ensuring the quality of all generated videos and QA pairs. We establish a comprehensive 3x2x2 video taxonomy, encompassing Spatial Scale, Perspective, and Scene Dynamics to span diverse scenarios. Furthermore, we design a hierarchical task suite that decouples low-level visual perception from high-level spatio-temporal reasoning. By shifting the paradigm from passive curation to active synthesis, VGenST-Bench enables fine-grained diagnosis of spatio-temporal understanding in MLLMs.