RM-Bench：微妙さとスタイルに関する言語モデルの報酬モデルをベンチマークする

RM-Bench: Benchmarking Reward Models of Language Models with Subtlety and Style

October 21, 2024

著者: Yantao Liu, Zijun Yao, Rui Min, Yixin Cao, Lei Hou, Juanzi Li

cs.AI

要旨

報酬モデルは、人間のフィードバックからの強化学習（RLHF）や推論スケーリング則などの手法において重要であり、言語モデルの整合性を導き、最適な応答を選択します。その重要性にもかかわらず、既存の報酬モデルのベンチマークは、しばしば異なる強度のモデルによって生成された応答を区別するようモデルに求めることで評価されます。しかしながら、このアプローチは、微妙だが重要な内容の変更やスタイルの変化を評価することができず、方針モデルの性能との相関が低くなります。このため、我々は、微妙な内容の違いに対する感度やスタイルの偏りに対する抵抗力に基づいて報酬モデルを評価するために設計された新しいベンチマークであるRM-Benchを紹介します。広範な実験により、RM-Benchが方針モデルの性能と強く相関することが示され、言語モデルを効果的に整合させるための報酬モデルを選択するための信頼性のある参照となります。我々は、RM-Benchで約40の報酬モデルを評価しました。結果から、最先端のモデルでさえ、スタイルの偏りの干渉に直面すると平均46.6%の性能しか達成できず、ランダムレベルの正確性（50%）には及びません。これらの結果は、現在の報酬モデルに改善の余地があることを示しています。関連するコードとデータは、https://github.com/THU-KEG/RM-Bench で入手可能です。

English

Reward models are critical in techniques like Reinforcement Learning from Human Feedback (RLHF) and Inference Scaling Laws, where they guide language model alignment and select optimal responses. Despite their importance, existing reward model benchmarks often evaluate models by asking them to distinguish between responses generated by models of varying power. However, this approach fails to assess reward models on subtle but critical content changes and variations in style, resulting in a low correlation with policy model performance. To this end, we introduce RM-Bench, a novel benchmark designed to evaluate reward models based on their sensitivity to subtle content differences and resistance to style biases. Extensive experiments demonstrate that RM-Bench strongly correlates with policy model performance, making it a reliable reference for selecting reward models to align language models effectively. We evaluate nearly 40 reward models on RM-Bench. Our results reveal that even state-of-the-art models achieve an average performance of only 46.6%, which falls short of random-level accuracy (50%) when faced with style bias interference. These findings highlight the significant room for improvement in current reward models. Related code and data are available at https://github.com/THU-KEG/RM-Bench.