Multimodal RewardBench: Ganzheitliche Bewertung von Belohnungsmodellen für Vision-Sprach-Modelle

Multimodal RewardBench: Holistic Evaluation of Reward Models for Vision Language Models

February 20, 2025

Autoren: Michihiro Yasunaga, Luke Zettlemoyer, Marjan Ghazvininejad

cs.AI

Zusammenfassung

Belohnungsmodelle spielen eine entscheidende Rolle beim Training von Vision-Sprache-Modellen (VLMs), indem sie die Qualität der Ausgaben bewerten, um eine Ausrichtung an menschlichen Präferenzen zu ermöglichen. Trotz ihrer Bedeutung fehlt der Forschungsgemeinschaft umfassende, offene Benchmarks zur Bewertung multimodaler Belohnungsmodelle in VLMs. Um diese Lücke zu schließen, stellen wir Multimodal RewardBench vor, einen von Experten annotierten Benchmark, der sechs Domänen abdeckt: allgemeine Korrektheit, Präferenz, Wissen, logisches Denken, Sicherheit und visuelles Frage-Antworten. Unser Datensatz umfasst 5.211 annotierte (Prompt, ausgewählte Antwort, abgelehnte Antwort) Tripel, die aus verschiedenen VLMs gesammelt wurden. Bei der Bewertung einer Reihe von VLM-Judges stellen wir fest, dass selbst die leistungsstärksten Modelle, Gemini 1.5 Pro und Claude 3.5 Sonnet, nur eine Gesamtgenauigkeit von 72 % erreichen. Besonders auffällig ist, dass die meisten Modelle in den Bereichen logisches Denken und Sicherheit Schwierigkeiten haben. Diese Ergebnisse deuten darauf hin, dass Multimodal RewardBench eine anspruchsvolle Testumgebung für die Weiterentwicklung von Belohnungsmodellen in mehreren Domänen bietet. Wir veröffentlichen den Benchmark unter https://github.com/facebookresearch/multimodal_rewardbench.

English

Reward models play an essential role in training vision-language models (VLMs) by assessing output quality to enable aligning with human preferences. Despite their importance, the research community lacks comprehensive open benchmarks for evaluating multimodal reward models in VLMs. To address this gap, we introduce Multimodal RewardBench, an expert-annotated benchmark covering six domains: general correctness, preference, knowledge, reasoning, safety, and visual question-answering. Our dataset comprises 5,211 annotated (prompt, chosen response, rejected response) triplets collected from various VLMs. In evaluating a range of VLM judges, we find that even the top-performing models, Gemini 1.5 Pro and Claude 3.5 Sonnet, achieve only 72% overall accuracy. Notably, most models struggle in the reasoning and safety domains. These findings suggest that Multimodal RewardBench offers a challenging testbed for advancing reward model development across multiple domains. We release the benchmark at https://github.com/facebookresearch/multimodal_rewardbench.