Multimodal RewardBench: Valutazione Olistica dei Modelli di Ricompensa per Modelli di Visione e Linguaggio

Multimodal RewardBench: Holistic Evaluation of Reward Models for Vision Language Models

February 20, 2025

Autori: Michihiro Yasunaga, Luke Zettlemoyer, Marjan Ghazvininejad

cs.AI

Abstract

I modelli di ricompensa svolgono un ruolo essenziale nell'addestramento dei modelli visione-linguaggio (VLMs) valutando la qualità degli output per consentire l'allineamento con le preferenze umane. Nonostante la loro importanza, la comunità di ricerca manca di benchmark aperti e completi per valutare i modelli di ricompensa multimodali nei VLMs. Per colmare questa lacuna, introduciamo Multimodal RewardBench, un benchmark annotato da esperti che copre sei domini: correttezza generale, preferenza, conoscenza, ragionamento, sicurezza e risposta a domande visive. Il nostro dataset comprende 5.211 triplette annotate (prompt, risposta scelta, risposta rifiutata) raccolte da vari VLMs. Valutando una gamma di giudici VLMs, scopriamo che anche i modelli più performanti, Gemini 1.5 Pro e Claude 3.5 Sonnet, raggiungono solo il 72% di accuratezza complessiva. In particolare, la maggior parte dei modelli incontra difficoltà nei domini del ragionamento e della sicurezza. Questi risultati suggeriscono che Multimodal RewardBench offre un banco di prova impegnativo per far progredire lo sviluppo dei modelli di ricompensa in più domini. Rilasciamo il benchmark all'indirizzo https://github.com/facebookresearch/multimodal_rewardbench.

English

Reward models play an essential role in training vision-language models (VLMs) by assessing output quality to enable aligning with human preferences. Despite their importance, the research community lacks comprehensive open benchmarks for evaluating multimodal reward models in VLMs. To address this gap, we introduce Multimodal RewardBench, an expert-annotated benchmark covering six domains: general correctness, preference, knowledge, reasoning, safety, and visual question-answering. Our dataset comprises 5,211 annotated (prompt, chosen response, rejected response) triplets collected from various VLMs. In evaluating a range of VLM judges, we find that even the top-performing models, Gemini 1.5 Pro and Claude 3.5 Sonnet, achieve only 72% overall accuracy. Notably, most models struggle in the reasoning and safety domains. These findings suggest that Multimodal RewardBench offers a challenging testbed for advancing reward model development across multiple domains. We release the benchmark at https://github.com/facebookresearch/multimodal_rewardbench.