MME-CoT : Évaluation de la Chaîne de Pensée dans les Grands Modèles Multimodaux pour la Qualité de Raisonnement, la Robustesse et l'Efficacité

MME-CoT: Benchmarking Chain-of-Thought in Large Multimodal Models for Reasoning Quality, Robustness, and Efficiency

February 13, 2025

Auteurs: Dongzhi Jiang, Renrui Zhang, Ziyu Guo, Yanwei Li, Yu Qi, Xinyan Chen, Liuhui Wang, Jianhan Jin, Claire Guo, Shen Yan, Bo Zhang, Chaoyou Fu, Peng Gao, Hongsheng Li

cs.AI

Résumé

La capacité de raisonnement des Grands Modèles de Langage (LLM) a été considérablement améliorée en répondant aux questions avec la Chaîne de Pensée (CoT), cependant son impact sur les Grands Modèles Multimodaux (LMM) manque encore d'une évaluation systématique et d'une investigation approfondie. Dans cet article, nous présentons MME-CoT, un banc d'essai spécialisé évaluant les performances de raisonnement CoT des LMM, couvrant six domaines : mathématiques, sciences, OCR, logique, espace-temps et scènes générales. En tant que première étude complète dans ce domaine, nous proposons une suite d'évaluation approfondie comprenant trois nouvelles mesures évaluant la qualité, la robustesse et l'efficacité du raisonnement à un niveau fin. En exploitant des données de haute qualité sélectionnées et une stratégie d'évaluation unique, nous menons une analyse approfondie des LMM de pointe, révélant plusieurs idées clés : 1) Les modèles avec mécanisme de réflexion démontrent une qualité CoT supérieure, avec Kimi k1.5 surpassant GPT-4o et présentant les meilleurs résultats en termes de qualité ; 2) Les incitations CoT dégradent souvent les performances des LMM sur les tâches lourdes en perception, suggérant un comportement potentiellement nuisible de surpenser ; et 3) Bien que la qualité CoT soit élevée, les LMM avec réflexion présentent une inefficacité significative à la fois dans la réponse normale et les phases d'autocorrection. Nous espérons que MME-CoT servira de base pour faire progresser le raisonnement multimodal dans les LMM. Page du projet : https://mmecot.github.io/

English

Answering questions with Chain-of-Thought (CoT) has significantly enhanced the reasoning capabilities of Large Language Models (LLMs), yet its impact on Large Multimodal Models (LMMs) still lacks a systematic assessment and in-depth investigation. In this paper, we introduce MME-CoT, a specialized benchmark evaluating the CoT reasoning performance of LMMs, spanning six domains: math, science, OCR, logic, space-time, and general scenes. As the first comprehensive study in this area, we propose a thorough evaluation suite incorporating three novel metrics that assess the reasoning quality, robustness, and efficiency at a fine-grained level. Leveraging curated high-quality data and a unique evaluation strategy, we conduct an in-depth analysis of state-of-the-art LMMs, uncovering several key insights: 1) Models with reflection mechanism demonstrate a superior CoT quality, with Kimi k1.5 outperforming GPT-4o and demonstrating the highest quality results; 2) CoT prompting often degrades LMM performance on perception-heavy tasks, suggesting a potentially harmful overthinking behavior; and 3) Although the CoT quality is high, LMMs with reflection exhibit significant inefficiency in both normal response and self-correction phases. We hope MME-CoT serves as a foundation for advancing multimodal reasoning in LMMs. Project Page: https://mmecot.github.io/