MME-Reasoning: Комплексный эталон для логического рассуждения в мультимодальных языковых моделях (MLLMs)

MME-Reasoning: A Comprehensive Benchmark for Logical Reasoning in MLLMs

May 27, 2025

Авторы: Jiakang Yuan, Tianshuo Peng, Yilei Jiang, Yiting Lu, Renrui Zhang, Kaituo Feng, Chaoyou Fu, Tao Chen, Lei Bai, Bo Zhang, Xiangyu Yue

cs.AI

Аннотация

Логическое рассуждение является фундаментальным аспектом человеческого интеллекта и важной способностью для мультимодальных больших языковых моделей (MLLMs). Несмотря на значительный прогресс в области мультимодального рассуждения, существующие эталонные тесты не позволяют всесторонне оценить их способности к рассуждению из-за отсутствия явной классификации типов логического рассуждения и недостаточного понимания самого процесса рассуждения. Для решения этих проблем мы представляем MME-Reasoning — комплексный эталонный тест, разработанный для оценки способности к рассуждению MLLMs, который охватывает все три типа рассуждений (индуктивное, дедуктивное и абдуктивное) в своих вопросах. Мы тщательно отбираем данные, чтобы каждый вопрос эффективно оценивал способность к рассуждению, а не перцептивные навыки или широту знаний, и расширяем протоколы оценки для охвата разнообразных вопросов. Наша оценка выявляет существенные ограничения современных MLLMs при проведении комплексной оценки их логических способностей. Даже самые передовые MLLMs демонстрируют ограниченную производительность в комплексном логическом рассуждении, с заметным дисбалансом производительности между типами рассуждений. Кроме того, мы провели углубленный анализ подходов, таких как «режим мышления» и Rule-based RL, которые, как считается, улучшают способности к рассуждению. Эти результаты подчеркивают критические ограничения и дисбаланс производительности современных MLLMs в различных сценариях логического рассуждения, предоставляя всесторонние и систематические инсайты для понимания и оценки способностей к рассуждению.

English

Logical reasoning is a fundamental aspect of human intelligence and an essential capability for multimodal large language models (MLLMs). Despite the significant advancement in multimodal reasoning, existing benchmarks fail to comprehensively evaluate their reasoning abilities due to the lack of explicit categorization for logical reasoning types and an unclear understanding of reasoning. To address these issues, we introduce MME-Reasoning, a comprehensive benchmark designed to evaluate the reasoning ability of MLLMs, which covers all three types of reasoning (i.e., inductive, deductive, and abductive) in its questions. We carefully curate the data to ensure that each question effectively evaluates reasoning ability rather than perceptual skills or knowledge breadth, and extend the evaluation protocols to cover the evaluation of diverse questions. Our evaluation reveals substantial limitations of state-of-the-art MLLMs when subjected to holistic assessments of logical reasoning capabilities. Even the most advanced MLLMs show limited performance in comprehensive logical reasoning, with notable performance imbalances across reasoning types. In addition, we conducted an in-depth analysis of approaches such as ``thinking mode'' and Rule-based RL, which are commonly believed to enhance reasoning abilities. These findings highlight the critical limitations and performance imbalances of current MLLMs in diverse logical reasoning scenarios, providing comprehensive and systematic insights into the understanding and evaluation of reasoning capabilities.