Multimodal RewardBench: Комплексная оценка моделей вознаграждения для мультимодальных моделей "визуальный язык"

Multimodal RewardBench: Holistic Evaluation of Reward Models for Vision Language Models

February 20, 2025

Авторы: Michihiro Yasunaga, Luke Zettlemoyer, Marjan Ghazvininejad

cs.AI

Аннотация

Модели вознаграждения играют ключевую роль в обучении моделей, работающих с визуальными и языковыми данными (VLMs), оценивая качество выходных данных для их согласования с человеческими предпочтениями. Несмотря на их важность, в исследовательском сообществе отсутствуют всеобъемлющие открытые бенчмарки для оценки мультимодальных моделей вознаграждения в VLMs. Чтобы устранить этот пробел, мы представляем Multimodal RewardBench — экспертно аннотированный бенчмарк, охватывающий шесть областей: общая корректность, предпочтения, знания, логическое рассуждение, безопасность и визуальное ответы на вопросы. Наш набор данных включает 5 211 аннотированных триплетов (запрос, выбранный ответ, отклонённый ответ), собранных из различных VLMs. При оценке ряда моделей-судей VLMs мы обнаружили, что даже лучшие модели, такие как Gemini 1.5 Pro и Claude 3.5 Sonnet, достигают лишь 72% общей точности. Примечательно, что большинство моделей испытывают трудности в областях логического рассуждения и безопасности. Эти результаты свидетельствуют о том, что Multimodal RewardBench предлагает сложный тестовый стенд для продвижения разработки моделей вознаграждения в различных областях. Мы публикуем бенчмарк по адресу https://github.com/facebookresearch/multimodal_rewardbench.

English

Reward models play an essential role in training vision-language models (VLMs) by assessing output quality to enable aligning with human preferences. Despite their importance, the research community lacks comprehensive open benchmarks for evaluating multimodal reward models in VLMs. To address this gap, we introduce Multimodal RewardBench, an expert-annotated benchmark covering six domains: general correctness, preference, knowledge, reasoning, safety, and visual question-answering. Our dataset comprises 5,211 annotated (prompt, chosen response, rejected response) triplets collected from various VLMs. In evaluating a range of VLM judges, we find that even the top-performing models, Gemini 1.5 Pro and Claude 3.5 Sonnet, achieve only 72% overall accuracy. Notably, most models struggle in the reasoning and safety domains. These findings suggest that Multimodal RewardBench offers a challenging testbed for advancing reward model development across multiple domains. We release the benchmark at https://github.com/facebookresearch/multimodal_rewardbench.