MM-CRITIC: Eine ganzheitliche Bewertung großer multimodaler Modelle als multimodale Kritik
MM-CRITIC: A Holistic Evaluation of Large Multimodal Models as Multimodal Critique
November 12, 2025
papers.authors: Gailun Zeng, Ziyang Luo, Hongzhan Lin, Yuchen Tian, Kaixin Li, Ziyang Gong, Jianxiong Guo, Jing Ma
cs.AI
papers.abstract
Die Fähigkeit zur Kritik ist entscheidend dafür, dass Modelle sich selbst verbessern und als zuverlässige KI-Assistenten dienen können. Während dies in rein sprachbasierten Settings bereits umfassend erforscht wurde, bleibt die multimodale Kritikfähigkeit von Large Multimodal Models (LMMs) trotz ihrer wachsenden Fähigkeiten in Aufgaben wie Bildbeschreibung und visuellem Schließen weitgehend unerforscht. In dieser Arbeit stellen wir MM-CRITIC vor, einen ganzheitlichen Benchmark zur Bewertung der Kritikfähigkeit von LMMs in mehreren Dimensionen: grundlegende Kritik, Korrektur und Vergleich. MM-CRITIC umfasst 8 Hauptaufgabentypen und über 500 Aufgaben, sammelt Antworten verschiedener LMMs mit unterschiedlichen Modellgrößen und besteht aus 4471 Proben. Um die Zuverlässigkeit der Evaluation zu erhöhen, integrieren wir experteninformierte Referenzantworten in Bewertungsraster, die GPT-4o bei der Annotation von Antworten und der Generierung von Referenzkritiken anleiten. Diese dienen als Anker für vertrauenswürdige Beurteilungen. Umfangreiche Experimente validieren die Wirksamkeit von MM-CRITIC und liefern eine umfassende Bewertung der Kritikfähigkeiten führender LMMs in mehreren Dimensionen. Eine weiterführende Analyse zeigt wichtige Erkenntnisse, darunter die Korrelation zwischen Antwortqualität und Kritikfähigkeit sowie unterschiedliche Schwierigkeitsgrade der Kritik across verschiedenen Bewertungsdimensionen. Unser Code ist verfügbar unter https://github.com/MichealZeng0420/MM-Critic.
English
The ability of critique is vital for models to self-improve and serve as reliable AI assistants. While extensively studied in language-only settings, multimodal critique of Large Multimodal Models (LMMs) remains underexplored despite their growing capabilities in tasks like captioning and visual reasoning. In this work, we introduce MM-CRITIC, a holistic benchmark for evaluating the critique ability of LMMs across multiple dimensions: basic, correction, and comparison. Covering 8 main task types and over 500 tasks, MM-CRITIC collects responses from various LMMs with different model sizes and is composed of 4471 samples. To enhance the evaluation reliability, we integrate expert-informed ground answers into scoring rubrics that guide GPT-4o in annotating responses and generating reference critiques, which serve as anchors for trustworthy judgments. Extensive experiments validate the effectiveness of MM-CRITIC and provide a comprehensive assessment of leading LMMs' critique capabilities under multiple dimensions. Further analysis reveals some key insights, including the correlation between response quality and critique, and varying critique difficulty across evaluation dimensions. Our code is available at https://github.com/MichealZeng0420/MM-Critic.