VGenST-Bench: бенчмарк для пространственно-временного рассуждения посредством активного синтеза видео

Аннотация

Пространственно-временное рассуждение является ключевой способностью мультимодальных больших языковых моделей (MLLM), функционирующих в реальном мире. В связи с этим точная оценка этой способности становится важнейшей задачей. Однако существующие эталонные наборы данных для оценки пространственно-временного рассуждения в основном опираются на статические наборы изображений или пассивно подобранные видеоданные, что ограничивает оценку тонких способностей к рассуждению. В данной статье мы представляем VGenST-Bench — видеобенчмарк, в котором используются генеративные модели для активного синтеза высококонтролируемых и разнообразных сценариев оценки. Для построения VGenST-Bench мы предлагаем многогентный конвейер, включающий этап контроля качества человеком, что гарантирует качество всех сгенерированных видео и пар «вопрос-ответ». Мы разрабатываем всеобъемлющую таксономию видео 3x2x2, охватывающую пространственный масштаб, перспективу и динамику сцены для представления разнообразных сценариев. Кроме того, мы создаем иерархический набор задач, разделяющий низкоуровневое визуальное восприятие и высокоуровневое пространственно-временное рассуждение. Смещая парадигму от пассивного подбора к активному синтезу, VGenST-Bench обеспечивает тонкую диагностику пространственно-временного понимания в MLLM.

English

Spatio-temporal reasoning is a core capability for Multimodal Large Language Models (MLLMs) operating in the real world. As such, evaluating it precisely has become an essential challenge. However, existing spatio-temporal reasoning benchmark datasets primarily rely on static image sets or passively curated video data, which limits the evaluation of fine-grained reasoning capabilities. In this paper, we introduce VGenST-Bench, a video benchmark that employs generative models to actively synthesize highly controlled and diverse evaluation scenarios. To construct VGenST-Bench, we propose a multi-agent pipeline incorporating a human quality control stage, ensuring the quality of all generated videos and QA pairs. We establish a comprehensive 3x2x2 video taxonomy, encompassing Spatial Scale, Perspective, and Scene Dynamics to span diverse scenarios. Furthermore, we design a hierarchical task suite that decouples low-level visual perception from high-level spatio-temporal reasoning. By shifting the paradigm from passive curation to active synthesis, VGenST-Bench enables fine-grained diagnosis of spatio-temporal understanding in MLLMs.