マルチモーダル報酬ベンチ：視覚言語モデルにおける報酬モデルの包括的評価

Multimodal RewardBench: Holistic Evaluation of Reward Models for Vision Language Models

February 20, 2025

著者: Michihiro Yasunaga, Luke Zettlemoyer, Marjan Ghazvininejad

cs.AI

要旨

報酬モデルは、視覚言語モデル（VLM）の訓練において、出力品質を評価し人間の好みに合わせるために重要な役割を果たします。その重要性にもかかわらず、研究コミュニティには、VLMにおけるマルチモーダル報酬モデルを評価するための包括的なオープンベンチマークが不足しています。このギャップを埋めるため、我々はMultimodal RewardBenchを導入しました。これは、一般正解性、選好、知識、推論、安全性、視覚的質問応答の6つの領域をカバーする専門家による注釈付きベンチマークです。我々のデータセットは、様々なVLMから収集された5,211の注釈付き（プロンプト、選択された応答、拒否された応答）トリプレットで構成されています。様々なVLMジャッジを評価した結果、最高性能のモデルであるGemini 1.5 ProとClaude 3.5 Sonnetでさえ、全体の精度は72%に留まることがわかりました。特に、ほとんどのモデルは推論と安全性の領域で苦戦しています。これらの発見は、Multimodal RewardBenchが、複数の領域にわたる報酬モデルの開発を進めるための挑戦的なテストベッドを提供することを示唆しています。我々はこのベンチマークをhttps://github.com/facebookresearch/multimodal_rewardbenchで公開しています。

English

Reward models play an essential role in training vision-language models (VLMs) by assessing output quality to enable aligning with human preferences. Despite their importance, the research community lacks comprehensive open benchmarks for evaluating multimodal reward models in VLMs. To address this gap, we introduce Multimodal RewardBench, an expert-annotated benchmark covering six domains: general correctness, preference, knowledge, reasoning, safety, and visual question-answering. Our dataset comprises 5,211 annotated (prompt, chosen response, rejected response) triplets collected from various VLMs. In evaluating a range of VLM judges, we find that even the top-performing models, Gemini 1.5 Pro and Claude 3.5 Sonnet, achieve only 72% overall accuracy. Notably, most models struggle in the reasoning and safety domains. These findings suggest that Multimodal RewardBench offers a challenging testbed for advancing reward model development across multiple domains. We release the benchmark at https://github.com/facebookresearch/multimodal_rewardbench.