MM-CRITIC : Une évaluation holistique des grands modèles multimodaux en tant que critique multimodal
MM-CRITIC: A Holistic Evaluation of Large Multimodal Models as Multimodal Critique
November 12, 2025
Auteurs: Gailun Zeng, Ziyang Luo, Hongzhan Lin, Yuchen Tian, Kaixin Li, Ziyang Gong, Jianxiong Guo, Jing Ma
cs.AI
Résumé
La capacité de critique est essentielle pour permettre aux modèles de s'auto-améliorer et de servir d'assistants IA fiables. Bien que largement étudiée dans des contextes unimodaux (langage seul), la critique multimodale des Grands Modèles Multimodaux (LMM) reste peu explorée malgré leurs capacités croissantes dans des tâches comme la légende d'images ou le raisonnement visuel. Dans ce travail, nous présentons MM-CRITIC, un benchmark holistique pour évaluer la capacité de critique des LMM selon plusieurs dimensions : basique, corrective et comparative. Couvrant 8 types principaux de tâches et plus de 500 exercices, MM-CRITIC collecte les réponses de divers LMM de différentes tailles et est composé de 4471 échantillons. Pour renforcer la fiabilité de l'évaluation, nous intégrons des réponses de référence éclairées par des experts dans des grilles d'évaluation qui guident GPT-4o pour annoter les réponses et générer des critiques de référence, servant d'ancres pour un jugement fiable. Des expériences approfondies valident l'efficacité de MM-CRITIC et fournissent une évaluation complète des capacités de critique des LMM leaders sous multiples dimensions. Une analyse plus poussée révèle des insights clés, incluant la corrélation entre la qualité des réponses et la critique, et la difficulté variable de la critique selon les dimensions d'évaluation. Notre code est disponible à l'adresse https://github.com/MichealZeng0420/MM-Critic.
English
The ability of critique is vital for models to self-improve and serve as reliable AI assistants. While extensively studied in language-only settings, multimodal critique of Large Multimodal Models (LMMs) remains underexplored despite their growing capabilities in tasks like captioning and visual reasoning. In this work, we introduce MM-CRITIC, a holistic benchmark for evaluating the critique ability of LMMs across multiple dimensions: basic, correction, and comparison. Covering 8 main task types and over 500 tasks, MM-CRITIC collects responses from various LMMs with different model sizes and is composed of 4471 samples. To enhance the evaluation reliability, we integrate expert-informed ground answers into scoring rubrics that guide GPT-4o in annotating responses and generating reference critiques, which serve as anchors for trustworthy judgments. Extensive experiments validate the effectiveness of MM-CRITIC and provide a comprehensive assessment of leading LMMs' critique capabilities under multiple dimensions. Further analysis reveals some key insights, including the correlation between response quality and critique, and varying critique difficulty across evaluation dimensions. Our code is available at https://github.com/MichealZeng0420/MM-Critic.