MM-CRITIC: Комплексная оценка больших мультимодальных моделей как мультимодальных критиков
MM-CRITIC: A Holistic Evaluation of Large Multimodal Models as Multimodal Critique
November 12, 2025
Авторы: Gailun Zeng, Ziyang Luo, Hongzhan Lin, Yuchen Tian, Kaixin Li, Ziyang Gong, Jianxiong Guo, Jing Ma
cs.AI
Аннотация
Способность к критике жизненно важна для моделей, чтобы они могли самосовершенствоваться и служить надежными ИИ-ассистентами. Хотя этот вопрос широко изучался в условиях работы только с языком, мультимодальная критика крупных мультимодальных моделей (LMM) остается малоисследованной, несмотря на их растущие возможности в таких задачах, как создание подписей и визуальные рассуждения. В данной работе мы представляем MM-CRITIC — целостный бенчмарк для оценки критической способности LMM по нескольким измерениям: базовому, корректирующему и сравнительному. Охватывая 8 основных типов задач и более 500 заданий, MM-CRITIC собирает ответы от различных LMM с разным размером моделей и состоит из 4471 образца. Для повышения надежности оценки мы интегрируем эталонные ответы, сформированные с участием экспертов, в оценочные рубрики, которые направляют GPT-4o в аннотировании ответов и генерации эталонных критических замечаний, служащих якорем для достоверных суждений. Обширные эксперименты подтверждают эффективность MM-CRITIC и обеспечивают всестороннюю оценку критических способностей ведущих LMM в нескольких измерениях. Дальнейший анализ выявляет ключевые инсайты, включая корреляцию между качеством ответа и критикой, а также различную сложность критики в разных оценочных измерениях. Наш код доступен по адресу https://github.com/MichealZeng0420/MM-Critic.
English
The ability of critique is vital for models to self-improve and serve as reliable AI assistants. While extensively studied in language-only settings, multimodal critique of Large Multimodal Models (LMMs) remains underexplored despite their growing capabilities in tasks like captioning and visual reasoning. In this work, we introduce MM-CRITIC, a holistic benchmark for evaluating the critique ability of LMMs across multiple dimensions: basic, correction, and comparison. Covering 8 main task types and over 500 tasks, MM-CRITIC collects responses from various LMMs with different model sizes and is composed of 4471 samples. To enhance the evaluation reliability, we integrate expert-informed ground answers into scoring rubrics that guide GPT-4o in annotating responses and generating reference critiques, which serve as anchors for trustworthy judgments. Extensive experiments validate the effectiveness of MM-CRITIC and provide a comprehensive assessment of leading LMMs' critique capabilities under multiple dimensions. Further analysis reveals some key insights, including the correlation between response quality and critique, and varying critique difficulty across evaluation dimensions. Our code is available at https://github.com/MichealZeng0420/MM-Critic.