M-RewardBench: Оценка моделей вознаграждения в многоязычных средах

M-RewardBench: Evaluating Reward Models in Multilingual Settings

October 20, 2024

Авторы: Srishti Gureja, Lester James V. Miranda, Shayekh Bin Islam, Rishabh Maheshwary, Drishti Sharma, Gusti Winata, Nathan Lambert, Sebastian Ruder, Sara Hooker, Marzieh Fadaee

cs.AI

Аннотация

Модели вознаграждения (RMs) сегодня стимулируют передовые показатели производительности LLMs, позволяя интегрировать обратную связь человека в процесс языкового моделирования. Однако RMs в основном обучаются и оцениваются на английском языке, и их возможности в многоязычных средах остаются в значительной степени недостаточно изученными. В данной работе мы проводим систематическую оценку нескольких моделей вознаграждения в многоязычных средах. Сначала мы создаем уникальный многоязычный бенчмарк оценки RM, M-RewardBench, состоящий из 2,87 тыс. примеров предпочтений для 23 типологически разнообразных языков, который тестирует способности в чате, безопасности, рассуждениях и переводе RMs. Затем мы тщательно оцениваем широкий спектр моделей вознаграждения на M-RewardBench, предлагая новые идеи относительно их производительности на разных языках. Мы выявляем значительный разрыв в производительности RMs между английским и неанглийскими языками и показываем, что предпочтения RM могут значительно изменяться от одного языка к другому. Мы также представляем несколько результатов о том, как различные многоязычные аспекты влияют на производительность RM. В частности, мы показываем, что производительность RMs улучшается с повышением качества перевода. Точно так же мы демонстрируем, что модели проявляют лучшую производительность для языков с высокими ресурсами. Мы публикуем набор данных M-RewardBench и кодовую базу в данном исследовании для облегчения лучшего понимания оценки RM в многоязычных средах.

English

Reward models (RMs) have driven the state-of-the-art performance of LLMs today by enabling the integration of human feedback into the language modeling process. However, RMs are primarily trained and evaluated in English, and their capabilities in multilingual settings remain largely understudied. In this work, we conduct a systematic evaluation of several reward models in multilingual settings. We first construct the first-of-its-kind multilingual RM evaluation benchmark, M-RewardBench, consisting of 2.87k preference instances for 23 typologically diverse languages, that tests the chat, safety, reasoning, and translation capabilities of RMs. We then rigorously evaluate a wide range of reward models on M-RewardBench, offering fresh insights into their performance across diverse languages. We identify a significant gap in RMs' performances between English and non-English languages and show that RM preferences can change substantially from one language to another. We also present several findings on how different multilingual aspects impact RM performance. Specifically, we show that the performance of RMs is improved with improved translation quality. Similarly, we demonstrate that the models exhibit better performance for high-resource languages. We release M-RewardBench dataset and the codebase in this study to facilitate a better understanding of RM evaluation in multilingual settings.