M-RewardBench: 多言語環境における報酬モデルの評価

M-RewardBench: Evaluating Reward Models in Multilingual Settings

October 20, 2024

著者: Srishti Gureja, Lester James V. Miranda, Shayekh Bin Islam, Rishabh Maheshwary, Drishti Sharma, Gusti Winata, Nathan Lambert, Sebastian Ruder, Sara Hooker, Marzieh Fadaee

cs.AI

要旨

報酬モデル（RMs）は、人間のフィードバックを言語モデリングプロセスに統合することで、LLMsの最先端のパフォーマンスを実現しています。ただし、RMsは主に英語で訓練および評価されており、多言語環境における能力はほとんど研究されていません。本研究では、複数言語環境でいくつかの報酬モデルを体系的に評価します。まず、23の言語にわたる2.87kの異なるタイプの言語のチャット、安全性、推論、翻訳能力をテストするM-RewardBenchという画期的な多言語RM評価ベンチマークを構築します。その後、M-RewardBenchで幅広い報酬モデルを厳密に評価し、異なる言語間でのパフォーマンスについて新しい洞察を提供します。英語と非英語の言語間でRMsのパフォーマンスに大きな差があることを特定し、言語によってRMの選好が大幅に変わることを示します。また、異なる多言語的側面がRMのパフォーマンスにどのように影響するかについていくつかの結果を示します。具体的には、翻訳品質が向上するとRMsのパフォーマンスが向上することを示し、同様に、高リソース言語に対してモデルがより良いパフォーマンスを発揮することを実証します。本研究では、多言語環境でのRM評価の理解を促進するために、M-RewardBenchデータセットとコードベースを公開します。

English

Reward models (RMs) have driven the state-of-the-art performance of LLMs today by enabling the integration of human feedback into the language modeling process. However, RMs are primarily trained and evaluated in English, and their capabilities in multilingual settings remain largely understudied. In this work, we conduct a systematic evaluation of several reward models in multilingual settings. We first construct the first-of-its-kind multilingual RM evaluation benchmark, M-RewardBench, consisting of 2.87k preference instances for 23 typologically diverse languages, that tests the chat, safety, reasoning, and translation capabilities of RMs. We then rigorously evaluate a wide range of reward models on M-RewardBench, offering fresh insights into their performance across diverse languages. We identify a significant gap in RMs' performances between English and non-English languages and show that RM preferences can change substantially from one language to another. We also present several findings on how different multilingual aspects impact RM performance. Specifically, we show that the performance of RMs is improved with improved translation quality. Similarly, we demonstrate that the models exhibit better performance for high-resource languages. We release M-RewardBench dataset and the codebase in this study to facilitate a better understanding of RM evaluation in multilingual settings.