Video-MME-Logical: контролируемый диагностический бенчмарк для видео-темпорально-логического рассуждения

Аннотация

Недавний интерес к мультимодальным большим языковым моделям (MLLMs) поднимает центральный вопрос: способны ли они рассуждать на основе динамических визуальных свидетельств, а не просто распознавать объекты или события на отдельных кадрах? Эта способность, которую мы называем видеовременным логическим рассуждением, требует от моделей поддерживать, обновлять и объединять свидетельства по мере эволюции визуальных состояний между кадрами. Существующие видеобенчмарки часто смешивают эту способность со сложностью сцены, статическим распознаванием или неконтролируемой временной вариативностью. Чтобы изолировать эту способность, мы представляем Video-MME-Logical — контролируемый бенчмарк, организованный вокруг пяти временно-логических операций: отслеживание состояний, последовательный подсчет, временное упорядочивание, динамическая пространственность и структурная композиция. Бенчмарк содержит 25 тонко детализированных категорий задач, генерируемых с контролируемыми состояниями объектов, переходами, временными зависимостями и логическими композициями. Он позволяет проводить оценку финального ответа с контролируемой сложностью путем варьирования временного горизонта и сложности рассуждения, а также поддерживает диагностику промежуточных состояний, проверяя, восстанавливают ли модели требуемую логическую цепочку рассуждения перед выдачей финального ответа. Эксперименты с передовыми MLLM выявляют существенный разрыв между человеком и моделью, особенно по мере увеличения временно-логической сложности. Контролируемая донастройка на до 500 тыс. сгенерированных примеров улучшает производительность, но остается недостаточной для устранения разрыва в рассуждении, позиционируя Video-MME-Logical как масштабируемый испытательный стенд для анализа и улучшения временно-логического рассуждения в MLLM.

English

Recent interest in multimodal large language models (MLLMs) raises a central question: can they reason over dynamic visual evidence rather than merely recognize objects or events in individual frames? This ability, which we refer to as video temporal-logical reasoning, requires models to maintain, update, and compose evidence as visual states evolve across frames. Existing video benchmarks often conflate this capability with scene complexity, static recognition, or uncontrolled temporal variation. To isolate this capability, we introduce Video-MME-Logical, a controlled benchmark organized around five temporal-logical operations: state tracking, sequential counting, temporal ordering, dynamic spatiality, and structural composition. The benchmark contains 25 fine-grained task categories generated with controlled object states, transitions, temporal dependencies, and logical compositions. It enables difficulty-controlled final-answer evaluation by varying temporal horizon and reasoning complexity, and supports intermediate-state diagnostics by verifying whether models recover the required logical reasoning trace before producing the final answer. Experiments with state-of-the-art MLLMs reveal a substantial human-model gap, especially as temporal-logical complexity increases. Supervised fine-tuning on up to 500K generated samples improves performance but remains insufficient to close the reasoning gap, positioning Video-MME-Logical as a scalable testbed for analyzing and improving temporal-logical reasoning in MLLMs.