VGenST-Bench : un benchmark pour le raisonnement spatio-temporel via la synthèse vidéo active

Résumé

Le raisonnement spatio-temporel est une capacité centrale pour les modèles de langage multimodaux à grande échelle (MLLMs) opérant dans le monde réel. À ce titre, son évaluation précise constitue un défi essentiel. Cependant, les ensembles de données de référence existants pour le raisonnement spatio-temporel reposent principalement sur des ensembles d'images statiques ou des données vidéo passivement organisées, ce qui limite l'évaluation des capacités de raisonnement à granularité fine. Dans cet article, nous présentons VGenST-Bench, un benchmark vidéo qui utilise des modèles génératifs pour synthétiser activement des scénarios d'évaluation hautement contrôlés et diversifiés. Pour construire VGenST-Bench, nous proposons un pipeline multi-agent intégrant une étape de contrôle qualité humain, garantissant la qualité de toutes les vidéos et paires de questions-réponses générées. Nous établissons une taxonomie vidéo complète 3x2x2, couvrant l'échelle spatiale, la perspective et la dynamique des scènes afin de représenter divers scénarios. De plus, nous concevons une suite hiérarchique de tâches qui dissocie la perception visuelle de bas niveau du raisonnement spatio-temporel de haut niveau. En faisant passer le paradigme de la curation passive à la synthèse active, VGenST-Bench permet un diagnostic fin de la compréhension spatio-temporelle dans les MLLMs.

English

Spatio-temporal reasoning is a core capability for Multimodal Large Language Models (MLLMs) operating in the real world. As such, evaluating it precisely has become an essential challenge. However, existing spatio-temporal reasoning benchmark datasets primarily rely on static image sets or passively curated video data, which limits the evaluation of fine-grained reasoning capabilities. In this paper, we introduce VGenST-Bench, a video benchmark that employs generative models to actively synthesize highly controlled and diverse evaluation scenarios. To construct VGenST-Bench, we propose a multi-agent pipeline incorporating a human quality control stage, ensuring the quality of all generated videos and QA pairs. We establish a comprehensive 3x2x2 video taxonomy, encompassing Spatial Scale, Perspective, and Scene Dynamics to span diverse scenarios. Furthermore, we design a hierarchical task suite that decouples low-level visual perception from high-level spatio-temporal reasoning. By shifting the paradigm from passive curation to active synthesis, VGenST-Bench enables fine-grained diagnosis of spatio-temporal understanding in MLLMs.