MME-CoT: Avaliando a Cadeia de Pensamento em Modelos Multimodais Grandes para Qualidade, Robustez e Eficiência de Raciocínio

MME-CoT: Benchmarking Chain-of-Thought in Large Multimodal Models for Reasoning Quality, Robustness, and Efficiency

February 13, 2025

Autores: Dongzhi Jiang, Renrui Zhang, Ziyu Guo, Yanwei Li, Yu Qi, Xinyan Chen, Liuhui Wang, Jianhan Jin, Claire Guo, Shen Yan, Bo Zhang, Chaoyou Fu, Peng Gao, Hongsheng Li

cs.AI

Resumo

Responder perguntas com a Cadeia de Pensamento (CoT) melhorou significativamente as capacidades de raciocínio dos Modelos de Linguagem Grandes (LLMs), no entanto, seu impacto nos Modelos Multimodais Grandes (LMMs) ainda carece de uma avaliação sistemática e investigação aprofundada. Neste artigo, apresentamos o MME-CoT, um benchmark especializado que avalia o desempenho de raciocínio CoT dos LMMs, abrangendo seis domínios: matemática, ciência, OCR, lógica, espaço-tempo e cenas gerais. Como o primeiro estudo abrangente nesta área, propomos uma suíte de avaliação abrangente que incorpora três métricas inovadoras que avaliam a qualidade, robustez e eficiência de raciocínio em um nível granular. Aproveitando dados de alta qualidade selecionados e uma estratégia de avaliação única, realizamos uma análise aprofundada dos LMMs de ponta, descobrindo várias percepções-chave: 1) Modelos com mecanismo de reflexão demonstram uma qualidade CoT superior, com Kimi k1.5 superando o GPT-4o e demonstrando os melhores resultados de qualidade; 2) A solicitação CoT frequentemente degrada o desempenho do LMM em tarefas com muita percepção, sugerindo um comportamento potencialmente prejudicial de excesso de pensamento; e 3) Embora a qualidade CoT seja alta, os LMMs com reflexão exibem uma ineficiência significativa tanto nas fases de resposta normal quanto de autocorreção. Esperamos que o MME-CoT sirva como base para o avanço do raciocínio multimodal nos LMMs. Página do Projeto: https://mmecot.github.io/

English

Answering questions with Chain-of-Thought (CoT) has significantly enhanced the reasoning capabilities of Large Language Models (LLMs), yet its impact on Large Multimodal Models (LMMs) still lacks a systematic assessment and in-depth investigation. In this paper, we introduce MME-CoT, a specialized benchmark evaluating the CoT reasoning performance of LMMs, spanning six domains: math, science, OCR, logic, space-time, and general scenes. As the first comprehensive study in this area, we propose a thorough evaluation suite incorporating three novel metrics that assess the reasoning quality, robustness, and efficiency at a fine-grained level. Leveraging curated high-quality data and a unique evaluation strategy, we conduct an in-depth analysis of state-of-the-art LMMs, uncovering several key insights: 1) Models with reflection mechanism demonstrate a superior CoT quality, with Kimi k1.5 outperforming GPT-4o and demonstrating the highest quality results; 2) CoT prompting often degrades LMM performance on perception-heavy tasks, suggesting a potentially harmful overthinking behavior; and 3) Although the CoT quality is high, LMMs with reflection exhibit significant inefficiency in both normal response and self-correction phases. We hope MME-CoT serves as a foundation for advancing multimodal reasoning in LMMs. Project Page: https://mmecot.github.io/