reWordBench: Оценка и повышение устойчивости моделей вознаграждения с использованием преобразованных входных данных

reWordBench: Benchmarking and Improving the Robustness of Reward Models with Transformed Inputs

March 14, 2025

Авторы: Zhaofeng Wu, Michihiro Yasunaga, Andrew Cohen, Yoon Kim, Asli Celikyilmaz, Marjan Ghazvininejad

cs.AI

Аннотация

Модели вознаграждения стали неотъемлемой частью современной обработки естественного языка (NLP), выступая не только как масштабируемый инструмент для оценки текста, но и как важный компонент во многих подходах к согласованию и алгоритмах, используемых на этапе вывода. Однако, хотя современные модели вознаграждения демонстрируют улучшение производительности на стандартных бенчмарках, это может быть частично связано с эффектами переобучения, что затрудняет понимание их реальных возможностей. В данной работе мы тщательно исследуем устойчивость моделей вознаграждения и степень такого переобучения. Мы создаем **reWordBench**, который систематически преобразует входные данные моделей вознаграждения, сохраняя при этом смысл или ранжирование. Мы показываем, что современные модели вознаграждения подвержены значительному ухудшению производительности даже при незначительных преобразованиях входных данных, иногда опускаясь до уровня значительно ниже случайного, что указывает на их хрупкость. Для повышения устойчивости моделей вознаграждения мы предлагаем явно обучать их присваивать схожие оценки парафразам, и обнаруживаем, что этот подход также улучшает устойчивость к другим видам преобразований. Например, наша устойчивая модель вознаграждения снижает такое ухудшение примерно вдвое для подмножества Chat Hard в RewardBench. Более того, при использовании в задачах согласования наши устойчивые модели вознаграждения демонстрируют лучшую полезность и приводят к более качественным результатам, выигрывая в до 59% случаев по сравнению с моделью, обученной стандартным способом.

English

Reward models have become a staple in modern NLP, serving as not only a scalable text evaluator, but also an indispensable component in many alignment recipes and inference-time algorithms. However, while recent reward models increase performance on standard benchmarks, this may partly be due to overfitting effects, which would confound an understanding of their true capability. In this work, we scrutinize the robustness of reward models and the extent of such overfitting. We build **reWordBench**, which systematically transforms reward model inputs in meaning- or ranking-preserving ways. We show that state-of-the-art reward models suffer from substantial performance degradation even with minor input transformations, sometimes dropping to significantly below-random accuracy, suggesting brittleness. To improve reward model robustness, we propose to explicitly train them to assign similar scores to paraphrases, and find that this approach also improves robustness to other distinct kinds of transformations. For example, our robust reward model reduces such degradation by roughly half for the Chat Hard subset in RewardBench. Furthermore, when used in alignment, our robust reward models demonstrate better utility and lead to higher-quality outputs, winning in up to 59% of instances against a standardly trained RM.