reWordBench: Het benchmarken en verbeteren van de robuustheid van beloningsmodellen met getransformeerde invoer

reWordBench: Benchmarking and Improving the Robustness of Reward Models with Transformed Inputs

March 14, 2025

Auteurs: Zhaofeng Wu, Michihiro Yasunaga, Andrew Cohen, Yoon Kim, Asli Celikyilmaz, Marjan Ghazvininejad

cs.AI

Samenvatting

Beloningsmodellen zijn een vast onderdeel geworden van moderne NLP, en dienen niet alleen als een schaalbare tekstbeoordelaar, maar ook als een onmisbaar onderdeel in veel afstemmingsmethoden en algoritmen tijdens inferentie. Hoewel recente beloningsmodellen de prestaties op standaardbenchmarks verbeteren, kan dit deels te wijten zijn aan overfitting-effecten, wat het begrip van hun werkelijke capaciteit zou kunnen vertroebelen. In dit werk onderzoeken we de robuustheid van beloningsmodellen en de omvang van dergelijke overfitting. We bouwen **reWordBench**, dat de invoer van beloningsmodellen op een systematische manier transformeert terwijl de betekenis of rangorde behouden blijft. We tonen aan dat state-of-the-art beloningsmodellen aanzienlijke prestatievermindering ondervinden, zelfs bij kleine invoertransformaties, soms dalend tot significant onder willekeurige nauwkeurigheid, wat op broosheid wijst. Om de robuustheid van beloningsmodellen te verbeteren, stellen we voor om ze expliciet te trainen om vergelijkbare scores toe te kennen aan parafrases, en we ontdekken dat deze aanpak ook de robuustheid tegenover andere soorten transformaties verbetert. Zo vermindert ons robuuste beloningsmodel bijvoorbeeld dergelijke degradatie met ongeveer de helft voor de Chat Hard subset in RewardBench. Bovendien tonen onze robuuste beloningsmodellen, wanneer ze worden gebruikt in afstemming, een betere bruikbaarheid en leiden ze tot hogere kwaliteit uitvoer, waarbij ze in tot 59% van de gevallen winnen van een standaard getraind RM.

English

Reward models have become a staple in modern NLP, serving as not only a scalable text evaluator, but also an indispensable component in many alignment recipes and inference-time algorithms. However, while recent reward models increase performance on standard benchmarks, this may partly be due to overfitting effects, which would confound an understanding of their true capability. In this work, we scrutinize the robustness of reward models and the extent of such overfitting. We build **reWordBench**, which systematically transforms reward model inputs in meaning- or ranking-preserving ways. We show that state-of-the-art reward models suffer from substantial performance degradation even with minor input transformations, sometimes dropping to significantly below-random accuracy, suggesting brittleness. To improve reward model robustness, we propose to explicitly train them to assign similar scores to paraphrases, and find that this approach also improves robustness to other distinct kinds of transformations. For example, our robust reward model reduces such degradation by roughly half for the Chat Hard subset in RewardBench. Furthermore, when used in alignment, our robust reward models demonstrate better utility and lead to higher-quality outputs, winning in up to 59% of instances against a standardly trained RM.