MM-CRITIC: Una Valutazione Olistica dei Grandi Modelli Multimodali come Critica Multimodale
MM-CRITIC: A Holistic Evaluation of Large Multimodal Models as Multimodal Critique
November 12, 2025
Autori: Gailun Zeng, Ziyang Luo, Hongzhan Lin, Yuchen Tian, Kaixin Li, Ziyang Gong, Jianxiong Guo, Jing Ma
cs.AI
Abstract
La capacità critica è fondamentale affinché i modelli possano auto-migliorarsi e fungere da assistenti IA affidabili. Sebbene ampiamente studiata in contesti puramente linguistici, la critica multimodale dei Large Multimodal Models (LMM) rimane poco esplorata nonostante le loro crescenti capacità in compiti come la descrizione di immagini e il ragionamento visivo. In questo lavoro, presentiamo MM-CRITIC, un benchmark olistico per valutare la capacità critica degli LMM lungo molteplici dimensioni: critica di base, correttiva e comparativa. Coprendo 8 tipologie principali di compiti e oltre 500 attività, MM-CRITIC raccoglie risposte da vari LMM con diverse dimensioni di modello ed è composto da 4471 campioni. Per aumentare l'affidabilità della valutazione, integriamo risposte di riferimento informate da esperti in griglie di valutazione che guidano GPT-4o nell'annotare le risposte e generare critiche di riferimento, le quali fungono da ancoraggi per giudizi affidabili. Esperimenti estensivi convalidano l'efficacia di MM-CRITIC e forniscono una valutazione completa delle capacità critiche dei principali LMM sotto molteplici dimensioni. Ulteriori analisi rivelano alcune intuizioni chiave, inclusa la correlazione tra qualità della risposta e critica, e la difficoltà critica variabile tra le diverse dimensioni di valutazione. Il nostro codice è disponibile all'indirizzo https://github.com/MichealZeng0420/MM-Critic.
English
The ability of critique is vital for models to self-improve and serve as reliable AI assistants. While extensively studied in language-only settings, multimodal critique of Large Multimodal Models (LMMs) remains underexplored despite their growing capabilities in tasks like captioning and visual reasoning. In this work, we introduce MM-CRITIC, a holistic benchmark for evaluating the critique ability of LMMs across multiple dimensions: basic, correction, and comparison. Covering 8 main task types and over 500 tasks, MM-CRITIC collects responses from various LMMs with different model sizes and is composed of 4471 samples. To enhance the evaluation reliability, we integrate expert-informed ground answers into scoring rubrics that guide GPT-4o in annotating responses and generating reference critiques, which serve as anchors for trustworthy judgments. Extensive experiments validate the effectiveness of MM-CRITIC and provide a comprehensive assessment of leading LMMs' critique capabilities under multiple dimensions. Further analysis reveals some key insights, including the correlation between response quality and critique, and varying critique difficulty across evaluation dimensions. Our code is available at https://github.com/MichealZeng0420/MM-Critic.