MME-CoT: Benchmarking der Gedankenkette in großen multimodalen Modellen für die Qualität, Robustheit und Effizienz des Denkens.

MME-CoT: Benchmarking Chain-of-Thought in Large Multimodal Models for Reasoning Quality, Robustness, and Efficiency

February 13, 2025

Autoren: Dongzhi Jiang, Renrui Zhang, Ziyu Guo, Yanwei Li, Yu Qi, Xinyan Chen, Liuhui Wang, Jianhan Jin, Claire Guo, Shen Yan, Bo Zhang, Chaoyou Fu, Peng Gao, Hongsheng Li

cs.AI

Zusammenfassung

Die Beantwortung von Fragen mit Chain-of-Thought (CoT) hat die Argumentationsfähigkeiten von Large Language Models (LLMs) signifikant verbessert, doch ihr Einfluss auf Large Multimodal Models (LMMs) fehlt noch eine systematische Bewertung und eingehende Untersuchung. In diesem Papier stellen wir MME-CoT vor, einen spezialisierten Benchmark zur Bewertung der CoT-Argumentationsleistung von LMMs, der sechs Bereiche umfasst: Mathematik, Naturwissenschaften, OCR, Logik, Raum-Zeit und allgemeine Szenen. Als erste umfassende Studie in diesem Bereich schlagen wir eine gründliche Bewertungssuite vor, die drei neue Metriken umfasst, die die Argumentationsqualität, Robustheit und Effizienz auf feingranularer Ebene bewerten. Durch die Nutzung kuratierter hochwertiger Daten und einer einzigartigen Bewertungsstrategie führen wir eine eingehende Analyse von State-of-the-Art LMMs durch und decken mehrere Schlüsselerkenntnisse auf: 1) Modelle mit Reflexionsmechanismus zeigen eine überlegene CoT-Qualität, wobei Kimi k1.5 GPT-4o übertrifft und die höchsten Qualitätsresultate zeigt; 2) CoT-Aufforderungen führen oft zu einer Verschlechterung der Leistung von LMMs bei wahrnehmungslastigen Aufgaben, was auf ein potenziell schädliches Überdenkverhalten hinweist; und 3) Obwohl die CoT-Qualität hoch ist, zeigen LMMs mit Reflexion eine signifikante Ineffizienz sowohl in normalen Antwort- als auch in Selbstkorrekturphasen. Wir hoffen, dass MME-CoT als Grundlage für die Weiterentwicklung der multimodalen Argumentation in LMMs dient. Projektseite: https://mmecot.github.io/

English

Answering questions with Chain-of-Thought (CoT) has significantly enhanced the reasoning capabilities of Large Language Models (LLMs), yet its impact on Large Multimodal Models (LMMs) still lacks a systematic assessment and in-depth investigation. In this paper, we introduce MME-CoT, a specialized benchmark evaluating the CoT reasoning performance of LMMs, spanning six domains: math, science, OCR, logic, space-time, and general scenes. As the first comprehensive study in this area, we propose a thorough evaluation suite incorporating three novel metrics that assess the reasoning quality, robustness, and efficiency at a fine-grained level. Leveraging curated high-quality data and a unique evaluation strategy, we conduct an in-depth analysis of state-of-the-art LMMs, uncovering several key insights: 1) Models with reflection mechanism demonstrate a superior CoT quality, with Kimi k1.5 outperforming GPT-4o and demonstrating the highest quality results; 2) CoT prompting often degrades LMM performance on perception-heavy tasks, suggesting a potentially harmful overthinking behavior; and 3) Although the CoT quality is high, LMMs with reflection exhibit significant inefficiency in both normal response and self-correction phases. We hope MME-CoT serves as a foundation for advancing multimodal reasoning in LMMs. Project Page: https://mmecot.github.io/