VGenST-Bench: Um Benchmark para Raciocínio Espaço-Temporal via Síntese Ativa de Vídeos

Resumo

O raciocínio espaço-temporal é uma capacidade central para Modelos de Linguagem Grandes Multimodais (MLLMs) operando no mundo real. Como tal, avaliá-lo com precisão tornou-se um desafio essencial. No entanto, os conjuntos de dados de referência existentes para raciocínio espaço-temporal dependem principalmente de conjuntos de imagens estáticas ou dados de vídeo passivamente curados, o que limita a avaliação de capacidades de raciocínio refinadas. Neste artigo, apresentamos o VGenST-Bench, um benchmark de vídeo que emprega modelos generativos para sintetizar ativamente cenários de avaliação altamente controlados e diversos. Para construir o VGenST-Bench, propomos um pipeline multiagente que incorpora uma etapa de controle de qualidade humano, garantindo a qualidade de todos os vídeos e pares de perguntas e respostas gerados. Estabelecemos uma taxonomia de vídeo abrangente 3x2x2, abrangendo Escala Espacial, Perspectiva e Dinâmica de Cena para cobrir cenários diversos. Além disso, projetamos um conjunto hierárquico de tarefas que separa a percepção visual de baixo nível do raciocínio espaço-temporal de alto nível. Ao mudar o paradigma da curadoria passiva para a síntese ativa, o VGenST-Bench permite um diagnóstico refinado da compreensão espaço-temporal em MLLMs.

English

Spatio-temporal reasoning is a core capability for Multimodal Large Language Models (MLLMs) operating in the real world. As such, evaluating it precisely has become an essential challenge. However, existing spatio-temporal reasoning benchmark datasets primarily rely on static image sets or passively curated video data, which limits the evaluation of fine-grained reasoning capabilities. In this paper, we introduce VGenST-Bench, a video benchmark that employs generative models to actively synthesize highly controlled and diverse evaluation scenarios. To construct VGenST-Bench, we propose a multi-agent pipeline incorporating a human quality control stage, ensuring the quality of all generated videos and QA pairs. We establish a comprehensive 3x2x2 video taxonomy, encompassing Spatial Scale, Perspective, and Scene Dynamics to span diverse scenarios. Furthermore, we design a hierarchical task suite that decouples low-level visual perception from high-level spatio-temporal reasoning. By shifting the paradigm from passive curation to active synthesis, VGenST-Bench enables fine-grained diagnosis of spatio-temporal understanding in MLLMs.