Video-MME-Logical: Um Benchmark Controlado de Diagnóstico para Raciocínio Temporal-Lógico em Vídeo

Resumo

O interesse recente em modelos de linguagem grandes multimodais (MLLMs) levanta uma questão central: eles conseguem raciocinar sobre evidências visuais dinâmicas em vez de apenas reconhecer objetos ou eventos em quadros individuais? Essa capacidade, que denominamos raciocínio lógico-temporal de vídeo, exige que os modelos mantenham, atualizem e componham evidências à medida que os estados visuais evoluem entre os quadros. Os benchmarks de vídeo existentes frequentemente confundem essa capacidade com complexidade da cena, reconhecimento estático ou variação temporal não controlada. Para isolar essa capacidade, apresentamos o Video-MME-Logical, um benchmark controlado organizado em torno de cinco operações lógico-temporais: rastreamento de estados, contagem sequencial, ordenação temporal, espacialidade dinâmica e composição estrutural. O benchmark contém 25 categorias de tarefas detalhadas geradas com estados de objetos controlados, transições, dependências temporais e composições lógicas. Ele possibilita a avaliação controlada por dificuldade da resposta final variando o horizonte temporal e a complexidade do raciocínio, e suporta diagnósticos de estados intermediários verificando se os modelos recuperam o traço de raciocínio lógico necessário antes de produzir a resposta final. Experimentos com MLLMs de última geração revelam uma lacuna substancial entre humanos e modelos, especialmente à medida que a complexidade lógico-temporal aumenta. O ajuste fino supervisionado em até 500 mil amostras geradas melhora o desempenho, mas permanece insuficiente para fechar a lacuna de raciocínio, posicionando o Video-MME-Logical como um campo de testes escalável para analisar e melhorar o raciocínio lógico-temporal em MLLMs.

English

Recent interest in multimodal large language models (MLLMs) raises a central question: can they reason over dynamic visual evidence rather than merely recognize objects or events in individual frames? This ability, which we refer to as video temporal-logical reasoning, requires models to maintain, update, and compose evidence as visual states evolve across frames. Existing video benchmarks often conflate this capability with scene complexity, static recognition, or uncontrolled temporal variation. To isolate this capability, we introduce Video-MME-Logical, a controlled benchmark organized around five temporal-logical operations: state tracking, sequential counting, temporal ordering, dynamic spatiality, and structural composition. The benchmark contains 25 fine-grained task categories generated with controlled object states, transitions, temporal dependencies, and logical compositions. It enables difficulty-controlled final-answer evaluation by varying temporal horizon and reasoning complexity, and supports intermediate-state diagnostics by verifying whether models recover the required logical reasoning trace before producing the final answer. Experiments with state-of-the-art MLLMs reveal a substantial human-model gap, especially as temporal-logical complexity increases. Supervised fine-tuning on up to 500K generated samples improves performance but remains insufficient to close the reasoning gap, positioning Video-MME-Logical as a scalable testbed for analyzing and improving temporal-logical reasoning in MLLMs.