Video-MME-Logical: 비디오 시간-논리적 추론을 위한 통제된 진단 벤치마크

초록

최근 다중 모달 대규모 언어 모델(MLLM)에 대한 관심은 핵심 질문을 제기한다: 이러한 모델이 개별 프레임에서 객체나 사건을 단순히 인식하는 것을 넘어, 동적인 시각적 증거를 바탕으로 추론할 수 있는가? 우리가 비디오 시간-논리적 추론이라고 부르는 이 능력은 모델이 프레임 전반에 걸쳐 시각적 상태가 진화함에 따라 증거를 유지, 갱신 및 구성해야 한다. 기존 비디오 벤치마크는 종종 이러한 능력을 장면 복잡성, 정적 인식 또는 통제되지 않은 시간적 변동성과 혼동한다. 이 능력을 분리하기 위해, 우리는 다섯 가지 시간-논리적 연산, 즉 상태 추적, 순차적 계수, 시간 순서화, 동적 공간성, 구조적 구성을 중심으로 구성된 통제된 벤치마크인 Video-MME-Logical을 소개한다. 이 벤치마크는 통제된 객체 상태, 전이, 시간적 의존성, 논리적 구성을 통해 생성된 25개의 세분화된 과제 범주를 포함한다. 시간적 지평과 추론 복잡도를 변화시켜 난이도가 통제된 최종 답변 평가를 가능하게 하며, 모델이 최종 답변을 생성하기 전에 필요한 논리적 추론 과정을 재구성하는지 검증함으로써 중간 상태 진단을 지원한다. 최첨단 MLLM을 사용한 실험은 특히 시간-논리적 복잡도가 증가함에 따라 상당한 인간-모델 격차를 드러낸다. 최대 50만 개의 생성된 샘플에 대한 지도 기반 미세 조정은 성능을 향상시키지만 추론 격차를 해소하기에는 여전히 부족하며, 이로써 Video-MME-Logical은 MLLM에서 시간-논리적 추론을 분석하고 개선하기 위한 확장 가능한 시험대로 자리매김한다.

English

Recent interest in multimodal large language models (MLLMs) raises a central question: can they reason over dynamic visual evidence rather than merely recognize objects or events in individual frames? This ability, which we refer to as video temporal-logical reasoning, requires models to maintain, update, and compose evidence as visual states evolve across frames. Existing video benchmarks often conflate this capability with scene complexity, static recognition, or uncontrolled temporal variation. To isolate this capability, we introduce Video-MME-Logical, a controlled benchmark organized around five temporal-logical operations: state tracking, sequential counting, temporal ordering, dynamic spatiality, and structural composition. The benchmark contains 25 fine-grained task categories generated with controlled object states, transitions, temporal dependencies, and logical compositions. It enables difficulty-controlled final-answer evaluation by varying temporal horizon and reasoning complexity, and supports intermediate-state diagnostics by verifying whether models recover the required logical reasoning trace before producing the final answer. Experiments with state-of-the-art MLLMs reveal a substantial human-model gap, especially as temporal-logical complexity increases. Supervised fine-tuning on up to 500K generated samples improves performance but remains insufficient to close the reasoning gap, positioning Video-MME-Logical as a scalable testbed for analyzing and improving temporal-logical reasoning in MLLMs.