Multimodal RewardBench: Holistische Evaluatie van Beloningsmodellen voor Visueel-Taalmodellen

Multimodal RewardBench: Holistic Evaluation of Reward Models for Vision Language Models

February 20, 2025

Auteurs: Michihiro Yasunaga, Luke Zettlemoyer, Marjan Ghazvininejad

cs.AI

Samenvatting

Beloningsmodellen spelen een essentiële rol bij het trainen van visie-taalmodellen (VLMs) door de kwaliteit van de uitvoer te beoordelen, waardoor afstemming met menselijke voorkeuren mogelijk wordt. Ondanks hun belang ontbreekt het de onderzoeksgemeenschap aan uitgebreide open benchmarks voor het evalueren van multimodale beloningsmodellen in VLMs. Om dit gat te dichten, introduceren we Multimodal RewardBench, een door experts geannoteerde benchmark die zes domeinen bestrijkt: algemene correctheid, voorkeur, kennis, redeneren, veiligheid en visuele vraagbeantwoording. Onze dataset bestaat uit 5.211 geannoteerde (prompt, gekozen antwoord, afgewezen antwoord) triplets, verzameld uit verschillende VLMs. Bij het evalueren van een reeks VLM-beoordelaars ontdekken we dat zelfs de best presterende modellen, Gemini 1.5 Pro en Claude 3.5 Sonnet, slechts 72% algehele nauwkeurigheid behalen. Opmerkelijk is dat de meeste modellen moeite hebben met de domeinen redeneren en veiligheid. Deze bevindingen suggereren dat Multimodal RewardBench een uitdagende testomgeving biedt voor de verdere ontwikkeling van beloningsmodellen over meerdere domeinen. We publiceren de benchmark op https://github.com/facebookresearch/multimodal_rewardbench.

English

Reward models play an essential role in training vision-language models (VLMs) by assessing output quality to enable aligning with human preferences. Despite their importance, the research community lacks comprehensive open benchmarks for evaluating multimodal reward models in VLMs. To address this gap, we introduce Multimodal RewardBench, an expert-annotated benchmark covering six domains: general correctness, preference, knowledge, reasoning, safety, and visual question-answering. Our dataset comprises 5,211 annotated (prompt, chosen response, rejected response) triplets collected from various VLMs. In evaluating a range of VLM judges, we find that even the top-performing models, Gemini 1.5 Pro and Claude 3.5 Sonnet, achieve only 72% overall accuracy. Notably, most models struggle in the reasoning and safety domains. These findings suggest that Multimodal RewardBench offers a challenging testbed for advancing reward model development across multiple domains. We release the benchmark at https://github.com/facebookresearch/multimodal_rewardbench.