MME-CoT: Valutazione della Catena di Pensiero in Grandi Modelli Multimodali per la Qualità del Ragionamento, la Robustezza e l'Efficienza

MME-CoT: Benchmarking Chain-of-Thought in Large Multimodal Models for Reasoning Quality, Robustness, and Efficiency

February 13, 2025

Autori: Dongzhi Jiang, Renrui Zhang, Ziyu Guo, Yanwei Li, Yu Qi, Xinyan Chen, Liuhui Wang, Jianhan Jin, Claire Guo, Shen Yan, Bo Zhang, Chaoyou Fu, Peng Gao, Hongsheng Li

cs.AI

Abstract

Rispondere alle domande con Chain-of-Thought (CoT) ha notevolmente potenziato le capacità di ragionamento dei Large Language Models (LLM), tuttavia il suo impatto sui Large Multimodal Models (LMM) manca ancora di una valutazione sistematica e di un'indagine approfondita. In questo articolo, presentiamo MME-CoT, un benchmark specializzato che valuta le prestazioni di ragionamento CoT dei LMM, che spazia su sei domini: matematica, scienza, OCR, logica, spazio-tempo e scene generali. Come primo studio completo in questo ambito, proponiamo un insieme di valutazione approfondita che incorpora tre nuove metriche che valutano la qualità, la robustezza e l'efficienza del ragionamento a un livello dettagliato. Sfruttando dati di alta qualità selezionati e una strategia di valutazione unica, conduciamo un'analisi dettagliata dei LMM all'avanguardia, scoprendo diversi punti chiave: 1) I modelli con meccanismo di riflessione dimostrano una qualità CoT superiore, con Kimi k1.5 che supera GPT-4o e dimostra i risultati di qualità più elevata; 2) La sollecitazione CoT spesso degrada le prestazioni dei LMM su compiti pesanti sulla percezione, suggerendo un comportamento potenzialmente dannoso di sovrappensiero; e 3) Anche se la qualità CoT è elevata, i LMM con riflessione mostrano un'inefficienza significativa sia nelle fasi di risposta normale che di autocorrezione. Speriamo che MME-CoT serva da base per far progredire il ragionamento multimodale nei LMM. Pagina del Progetto: https://mmecot.github.io/

English

Answering questions with Chain-of-Thought (CoT) has significantly enhanced the reasoning capabilities of Large Language Models (LLMs), yet its impact on Large Multimodal Models (LMMs) still lacks a systematic assessment and in-depth investigation. In this paper, we introduce MME-CoT, a specialized benchmark evaluating the CoT reasoning performance of LMMs, spanning six domains: math, science, OCR, logic, space-time, and general scenes. As the first comprehensive study in this area, we propose a thorough evaluation suite incorporating three novel metrics that assess the reasoning quality, robustness, and efficiency at a fine-grained level. Leveraging curated high-quality data and a unique evaluation strategy, we conduct an in-depth analysis of state-of-the-art LMMs, uncovering several key insights: 1) Models with reflection mechanism demonstrate a superior CoT quality, with Kimi k1.5 outperforming GPT-4o and demonstrating the highest quality results; 2) CoT prompting often degrades LMM performance on perception-heavy tasks, suggesting a potentially harmful overthinking behavior; and 3) Although the CoT quality is high, LMMs with reflection exhibit significant inefficiency in both normal response and self-correction phases. We hope MME-CoT serves as a foundation for advancing multimodal reasoning in LMMs. Project Page: https://mmecot.github.io/