MME-CoT: Evaluación de la Cadena de Pensamiento en Modelos Multimodales Grandes para Calidad, Robustez y Eficiencia en el Razonamiento

MME-CoT: Benchmarking Chain-of-Thought in Large Multimodal Models for Reasoning Quality, Robustness, and Efficiency

February 13, 2025

Autores: Dongzhi Jiang, Renrui Zhang, Ziyu Guo, Yanwei Li, Yu Qi, Xinyan Chen, Liuhui Wang, Jianhan Jin, Claire Guo, Shen Yan, Bo Zhang, Chaoyou Fu, Peng Gao, Hongsheng Li

cs.AI

Resumen

Responder preguntas con Chain-of-Thought (CoT) ha mejorado significativamente las capacidades de razonamiento de los Modelos de Lenguaje Grandes (LLMs), sin embargo, su impacto en los Modelos Multimodales Grandes (LMMs) aún carece de una evaluación sistemática e investigación en profundidad. En este documento, presentamos MME-CoT, un banco de pruebas especializado que evalúa el rendimiento de razonamiento CoT de LMMs, abarcando seis dominios: matemáticas, ciencia, OCR, lógica, espacio-tiempo y escenas generales. Como el primer estudio integral en esta área, proponemos un conjunto de evaluación exhaustivo que incorpora tres métricas novedosas que evalúan la calidad, robustez y eficiencia del razonamiento a un nivel detallado. Aprovechando datos de alta calidad seleccionados y una estrategia de evaluación única, realizamos un análisis en profundidad de los LMMs de última generación, descubriendo varias ideas clave: 1) Los modelos con mecanismo de reflexión muestran una calidad CoT superior, con Kimi k1.5 superando a GPT-4o y demostrando los mejores resultados de calidad; 2) La solicitud de CoT a menudo degrada el rendimiento de LMM en tareas con carga perceptiva, lo que sugiere un comportamiento potencialmente perjudicial de sobreponderación; y 3) Aunque la calidad de CoT es alta, los LMMs con reflexión muestran una ineficiencia significativa tanto en la respuesta normal como en las fases de autocorrección. Esperamos que MME-CoT sirva como base para avanzar en el razonamiento multimodal en LMMs. Página del Proyecto: https://mmecot.github.io/

English

Answering questions with Chain-of-Thought (CoT) has significantly enhanced the reasoning capabilities of Large Language Models (LLMs), yet its impact on Large Multimodal Models (LMMs) still lacks a systematic assessment and in-depth investigation. In this paper, we introduce MME-CoT, a specialized benchmark evaluating the CoT reasoning performance of LMMs, spanning six domains: math, science, OCR, logic, space-time, and general scenes. As the first comprehensive study in this area, we propose a thorough evaluation suite incorporating three novel metrics that assess the reasoning quality, robustness, and efficiency at a fine-grained level. Leveraging curated high-quality data and a unique evaluation strategy, we conduct an in-depth analysis of state-of-the-art LMMs, uncovering several key insights: 1) Models with reflection mechanism demonstrate a superior CoT quality, with Kimi k1.5 outperforming GPT-4o and demonstrating the highest quality results; 2) CoT prompting often degrades LMM performance on perception-heavy tasks, suggesting a potentially harmful overthinking behavior; and 3) Although the CoT quality is high, LMMs with reflection exhibit significant inefficiency in both normal response and self-correction phases. We hope MME-CoT serves as a foundation for advancing multimodal reasoning in LMMs. Project Page: https://mmecot.github.io/