reWordBench: Avaliação e Melhoria da Robustez de Modelos de Recompensa com Entradas Transformadas

reWordBench: Benchmarking and Improving the Robustness of Reward Models with Transformed Inputs

March 14, 2025

Autores: Zhaofeng Wu, Michihiro Yasunaga, Andrew Cohen, Yoon Kim, Asli Celikyilmaz, Marjan Ghazvininejad

cs.AI

Resumo

Modelos de recompensa tornaram-se um elemento essencial na PNL moderna, servindo não apenas como avaliadores escaláveis de texto, mas também como um componente indispensável em muitas receitas de alinhamento e algoritmos de inferência em tempo real. No entanto, embora os modelos de recompensa recentes aumentem o desempenho em benchmarks padrão, isso pode ser parcialmente devido a efeitos de sobreajuste, o que confundiria a compreensão de sua verdadeira capacidade. Neste trabalho, examinamos a robustez dos modelos de recompensa e a extensão desse sobreajuste. Construímos o **reWordBench**, que transforma sistematicamente as entradas dos modelos de recompensa de maneiras que preservam o significado ou a classificação. Mostramos que os modelos de recompensa state-of-the-art sofrem uma degradação substancial de desempenho mesmo com transformações menores nas entradas, às vezes caindo para uma precisão significativamente abaixo do acaso, sugerindo fragilidade. Para melhorar a robustez dos modelos de recompensa, propomos treiná-los explicitamente para atribuir pontuações semelhantes a paráfrases, e descobrimos que essa abordação também melhora a robustez a outros tipos distintos de transformações. Por exemplo, nosso modelo de recompensa robusto reduz essa degradação pela metade aproximadamente para o subconjunto Chat Hard no RewardBench. Além disso, quando usados em alinhamento, nossos modelos de recompensa robustos demonstram melhor utilidade e levam a saídas de maior qualidade, vencendo em até 59% das instâncias contra um modelo de recompensa treinado de forma padrão.

English

Reward models have become a staple in modern NLP, serving as not only a scalable text evaluator, but also an indispensable component in many alignment recipes and inference-time algorithms. However, while recent reward models increase performance on standard benchmarks, this may partly be due to overfitting effects, which would confound an understanding of their true capability. In this work, we scrutinize the robustness of reward models and the extent of such overfitting. We build **reWordBench**, which systematically transforms reward model inputs in meaning- or ranking-preserving ways. We show that state-of-the-art reward models suffer from substantial performance degradation even with minor input transformations, sometimes dropping to significantly below-random accuracy, suggesting brittleness. To improve reward model robustness, we propose to explicitly train them to assign similar scores to paraphrases, and find that this approach also improves robustness to other distinct kinds of transformations. For example, our robust reward model reduces such degradation by roughly half for the Chat Hard subset in RewardBench. Furthermore, when used in alignment, our robust reward models demonstrate better utility and lead to higher-quality outputs, winning in up to 59% of instances against a standardly trained RM.