MME-CoT: Сравнение цепочки мыслей в больших мультимодальных моделях для качества рассуждений, устойчивости и эффективности.

MME-CoT: Benchmarking Chain-of-Thought in Large Multimodal Models for Reasoning Quality, Robustness, and Efficiency

February 13, 2025

Авторы: Dongzhi Jiang, Renrui Zhang, Ziyu Guo, Yanwei Li, Yu Qi, Xinyan Chen, Liuhui Wang, Jianhan Jin, Claire Guo, Shen Yan, Bo Zhang, Chaoyou Fu, Peng Gao, Hongsheng Li

cs.AI

Аннотация

Ответы на вопросы с использованием цепочки мыслей (CoT) значительно улучшили способности к рассуждению крупных языковых моделей (LLM), однако их влияние на крупные мультимодальные модели (LMM) до сих пор не имеет систематической оценки и глубокого исследования. В данной статье мы представляем MME-CoT, специализированный бенчмарк для оценки способности к рассуждению с использованием CoT у LMM, охватывающий шесть областей: математику, науку, OCR, логику, пространство-время и общие сцены. Как первое всестороннее исследование в этой области, мы предлагаем тщательный набор оценочных метрик, оценивающих качество, устойчивость и эффективность рассуждений на более детальном уровне. Используя отобранные высококачественные данные и уникальную стратегию оценки, мы проводим глубокий анализ передовых LMM, выявляя несколько ключевых идей: 1) Модели с механизмом отражения демонстрируют превосходное качество CoT, причем Kimi k1.5 превосходит GPT-4o и показывает лучшие результаты качества; 2) Применение CoT-подсказок часто снижает производительность LMM на задачах, требующих восприятия, что указывает на потенциально вредное поведение излишнего размышления; и 3) Хотя качество CoT высоко, LMM с механизмом отражения проявляют значительную неэффективность как в обычной реакции, так и на этапе самокоррекции. Мы надеемся, что MME-CoT послужит основой для развития мультимодального рассуждения в LMM. Страница проекта: https://mmecot.github.io/

English

Answering questions with Chain-of-Thought (CoT) has significantly enhanced the reasoning capabilities of Large Language Models (LLMs), yet its impact on Large Multimodal Models (LMMs) still lacks a systematic assessment and in-depth investigation. In this paper, we introduce MME-CoT, a specialized benchmark evaluating the CoT reasoning performance of LMMs, spanning six domains: math, science, OCR, logic, space-time, and general scenes. As the first comprehensive study in this area, we propose a thorough evaluation suite incorporating three novel metrics that assess the reasoning quality, robustness, and efficiency at a fine-grained level. Leveraging curated high-quality data and a unique evaluation strategy, we conduct an in-depth analysis of state-of-the-art LMMs, uncovering several key insights: 1) Models with reflection mechanism demonstrate a superior CoT quality, with Kimi k1.5 outperforming GPT-4o and demonstrating the highest quality results; 2) CoT prompting often degrades LMM performance on perception-heavy tasks, suggesting a potentially harmful overthinking behavior; and 3) Although the CoT quality is high, LMMs with reflection exhibit significant inefficiency in both normal response and self-correction phases. We hope MME-CoT serves as a foundation for advancing multimodal reasoning in LMMs. Project Page: https://mmecot.github.io/