MM-CRITIC: Een holistische evaluatie van grote multimodale modellen als multimodale criticus
MM-CRITIC: A Holistic Evaluation of Large Multimodal Models as Multimodal Critique
November 12, 2025
Auteurs: Gailun Zeng, Ziyang Luo, Hongzhan Lin, Yuchen Tian, Kaixin Li, Ziyang Gong, Jianxiong Guo, Jing Ma
cs.AI
Samenvatting
Het vermogen tot kritiek is essentieel voor modellen om zichzelf te verbeteren en als betrouwbare AI-assistenten te fungeren. Hoewel dit uitgebreid is bestudeerd in uitsluitend taalkundige settings, blijft multimodale kritiek op Grote Multimodale Modellen (LMM's) onderbelicht, ondanks hun toenemende capaciteiten in taken zoals beeldbeschrijving en visueel redeneren. In dit werk introduceren we MM-CRITIC, een holistische benchmark voor het evalueren van het kritiekvermogen van LMM's op meerdere dimensies: basis, correctie en vergelijking. MM-CRITIC bestrijkt 8 hoofdtaaktypen en meer dan 500 taken, verzamelt reacties van diverse LMM's met verschillende modelgroottes en bestaat uit 4471 samples. Om de betrouwbaarheid van de evaluatie te vergroten, integreren we door experts geïnformeerde grondantwoorden in beoordelingsrichtlijnen die GPT-4o begeleiden bij het annoteren van reacties en het genereren van referentiekritieken, die dienen als ankers voor betrouwbare beoordelingen. Uitgebreide experimenten valideren de effectiviteit van MM-CRITIC en bieden een uitgebreide beoordeling van de kritiekcapaciteiten van toonaangevende LMM's in meerdere dimensies. Verdere analyse onthult enkele belangrijke inzichten, waaronder de correlatie tussen reactiekwaliteit en kritiek, en variërende kritiekmoeilijkheid over evaluatiedimensies. Onze code is beschikbaar op https://github.com/MichealZeng0420/MM-Critic.
English
The ability of critique is vital for models to self-improve and serve as reliable AI assistants. While extensively studied in language-only settings, multimodal critique of Large Multimodal Models (LMMs) remains underexplored despite their growing capabilities in tasks like captioning and visual reasoning. In this work, we introduce MM-CRITIC, a holistic benchmark for evaluating the critique ability of LMMs across multiple dimensions: basic, correction, and comparison. Covering 8 main task types and over 500 tasks, MM-CRITIC collects responses from various LMMs with different model sizes and is composed of 4471 samples. To enhance the evaluation reliability, we integrate expert-informed ground answers into scoring rubrics that guide GPT-4o in annotating responses and generating reference critiques, which serve as anchors for trustworthy judgments. Extensive experiments validate the effectiveness of MM-CRITIC and provide a comprehensive assessment of leading LMMs' critique capabilities under multiple dimensions. Further analysis reveals some key insights, including the correlation between response quality and critique, and varying critique difficulty across evaluation dimensions. Our code is available at https://github.com/MichealZeng0420/MM-Critic.