Multimodal RewardBench : Évaluation holistique des modèles de récompense pour les modèles de vision et langage

Multimodal RewardBench: Holistic Evaluation of Reward Models for Vision Language Models

February 20, 2025

Auteurs: Michihiro Yasunaga, Luke Zettlemoyer, Marjan Ghazvininejad

cs.AI

Résumé

Les modèles de récompense jouent un rôle essentiel dans l'entraînement des modèles vision-langage (VLMs) en évaluant la qualité des sorties pour permettre un alignement avec les préférences humaines. Malgré leur importance, la communauté de recherche manque de benchmarks ouverts et complets pour évaluer les modèles de récompense multimodaux dans les VLMs. Pour combler cette lacune, nous introduisons Multimodal RewardBench, un benchmark annoté par des experts couvrant six domaines : exactitude générale, préférence, connaissances, raisonnement, sécurité et question-réponse visuelle. Notre ensemble de données comprend 5 211 triplets annotés (prompt, réponse choisie, réponse rejetée) collectés à partir de divers VLMs. En évaluant une gamme de juges VLMs, nous constatons que même les modèles les plus performants, Gemini 1.5 Pro et Claude 3.5 Sonnet, n'atteignent que 72 % de précision globale. Notamment, la plupart des modèles rencontrent des difficultés dans les domaines du raisonnement et de la sécurité. Ces résultats suggèrent que Multimodal RewardBench offre un banc d'essai stimulant pour faire progresser le développement des modèles de récompense à travers plusieurs domaines. Nous mettons à disposition le benchmark à l'adresse suivante : https://github.com/facebookresearch/multimodal_rewardbench.

English

Reward models play an essential role in training vision-language models (VLMs) by assessing output quality to enable aligning with human preferences. Despite their importance, the research community lacks comprehensive open benchmarks for evaluating multimodal reward models in VLMs. To address this gap, we introduce Multimodal RewardBench, an expert-annotated benchmark covering six domains: general correctness, preference, knowledge, reasoning, safety, and visual question-answering. Our dataset comprises 5,211 annotated (prompt, chosen response, rejected response) triplets collected from various VLMs. In evaluating a range of VLM judges, we find that even the top-performing models, Gemini 1.5 Pro and Claude 3.5 Sonnet, achieve only 72% overall accuracy. Notably, most models struggle in the reasoning and safety domains. These findings suggest that Multimodal RewardBench offers a challenging testbed for advancing reward model development across multiple domains. We release the benchmark at https://github.com/facebookresearch/multimodal_rewardbench.