reWordBench : Évaluation et amélioration de la robustesse des modèles de récompense grâce à des entrées transformées

reWordBench: Benchmarking and Improving the Robustness of Reward Models with Transformed Inputs

March 14, 2025

Auteurs: Zhaofeng Wu, Michihiro Yasunaga, Andrew Cohen, Yoon Kim, Asli Celikyilmaz, Marjan Ghazvininejad

cs.AI

Résumé

Les modèles de récompense sont devenus un pilier dans le domaine moderne du TALN, servant non seulement d'évaluateurs de texte évolutifs, mais aussi de composants indispensables dans de nombreuses recettes d'alignement et algorithmes d'inférence. Cependant, bien que les modèles de récompense récents améliorent les performances sur les benchmarks standards, cela peut en partie être dû à des effets de surajustement, ce qui brouillerait la compréhension de leur véritable capacité. Dans ce travail, nous examinons la robustesse des modèles de récompense et l'étendue de ce surajustement. Nous construisons **reWordBench**, qui transforme systématiquement les entrées des modèles de récompense de manière à préserver le sens ou le classement. Nous montrons que les modèles de récompense de pointe subissent une dégradation substantielle de leurs performances même avec des transformations mineures des entrées, tombant parfois à une précision significativement inférieure au hasard, ce qui suggère une fragilité. Pour améliorer la robustesse des modèles de récompense, nous proposons de les entraîner explicitement à attribuer des scores similaires à des paraphrases, et nous constatons que cette approce améliore également la robustesse à d'autres types distincts de transformations. Par exemple, notre modèle de récompense robuste réduit cette dégradation de près de moitié pour le sous-ensemble Chat Hard dans RewardBench. De plus, lorsqu'ils sont utilisés dans l'alignement, nos modèles de récompense robustes démontrent une meilleure utilité et produisent des sorties de plus haute qualité, gagnant dans jusqu'à 59% des cas contre un modèle de récompense entraîné de manière standard.

English

Reward models have become a staple in modern NLP, serving as not only a scalable text evaluator, but also an indispensable component in many alignment recipes and inference-time algorithms. However, while recent reward models increase performance on standard benchmarks, this may partly be due to overfitting effects, which would confound an understanding of their true capability. In this work, we scrutinize the robustness of reward models and the extent of such overfitting. We build **reWordBench**, which systematically transforms reward model inputs in meaning- or ranking-preserving ways. We show that state-of-the-art reward models suffer from substantial performance degradation even with minor input transformations, sometimes dropping to significantly below-random accuracy, suggesting brittleness. To improve reward model robustness, we propose to explicitly train them to assign similar scores to paraphrases, and find that this approach also improves robustness to other distinct kinds of transformations. For example, our robust reward model reduces such degradation by roughly half for the Chat Hard subset in RewardBench. Furthermore, when used in alignment, our robust reward models demonstrate better utility and lead to higher-quality outputs, winning in up to 59% of instances against a standardly trained RM.