MM-CRITIC: Uma Avaliação Holística de Grandes Modelos Multimodais como Críticos Multimodais
MM-CRITIC: A Holistic Evaluation of Large Multimodal Models as Multimodal Critique
November 12, 2025
Autores: Gailun Zeng, Ziyang Luo, Hongzhan Lin, Yuchen Tian, Kaixin Li, Ziyang Gong, Jianxiong Guo, Jing Ma
cs.AI
Resumo
A capacidade de crítica é vital para que os modelos se aperfeiçoem e funcionem como assistentes de IA confiáveis. Embora amplamente estudada em contextos exclusivamente linguísticos, a crítica multimodal de Modelos Multimodais de Grande Porte (LMMs) permanece pouco explorada, apesar das suas capacidades crescentes em tarefas como legendagem e raciocínio visual. Neste trabalho, apresentamos o MM-CRITIC, um benchmark holístico para avaliar a capacidade crítica dos LMMs em múltiplas dimensões: básica, de correção e de comparação. Abrangendo 8 tipos principais de tarefas e mais de 500 tarefas, o MM-CRITIC recolhe respostas de vários LMMs com diferentes dimensões de modelo e é composto por 4471 amostras. Para aumentar a fiabilidade da avaliação, integramos respostas fundamentadas informadas por especialistas em grelhas de pontuação que orientam o GPT-4o na anotação de respostas e na geração de críticas de referência, que servem como âncoras para julgamentos confiáveis. Experiências extensivas validam a eficácia do MM-CRITIC e fornecem uma avaliação abrangente das capacidades críticas dos principais LMMs sob múltiplas dimensões. Uma análise mais aprofundada revela alguns insights-chave, incluindo a correlação entre a qualidade da resposta e a crítica, e a dificuldade variável da crítica entre as dimensões de avaliação. O nosso código está disponível em https://github.com/MichealZeng0420/MM-Critic.
English
The ability of critique is vital for models to self-improve and serve as reliable AI assistants. While extensively studied in language-only settings, multimodal critique of Large Multimodal Models (LMMs) remains underexplored despite their growing capabilities in tasks like captioning and visual reasoning. In this work, we introduce MM-CRITIC, a holistic benchmark for evaluating the critique ability of LMMs across multiple dimensions: basic, correction, and comparison. Covering 8 main task types and over 500 tasks, MM-CRITIC collects responses from various LMMs with different model sizes and is composed of 4471 samples. To enhance the evaluation reliability, we integrate expert-informed ground answers into scoring rubrics that guide GPT-4o in annotating responses and generating reference critiques, which serve as anchors for trustworthy judgments. Extensive experiments validate the effectiveness of MM-CRITIC and provide a comprehensive assessment of leading LMMs' critique capabilities under multiple dimensions. Further analysis reveals some key insights, including the correlation between response quality and critique, and varying critique difficulty across evaluation dimensions. Our code is available at https://github.com/MichealZeng0420/MM-Critic.