RM-Bench: Оценка моделей вознаграждения языковых моделей с утонченностью и стилем

RM-Bench: Benchmarking Reward Models of Language Models with Subtlety and Style

October 21, 2024

Авторы: Yantao Liu, Zijun Yao, Rui Min, Yixin Cao, Lei Hou, Juanzi Li

cs.AI

Аннотация

Модели вознаграждения имеют решающее значение в техниках, таких как Обучение с подкреплением на основе обратной связи от человека (RLHF) и Законы масштабирования вывода, где они направляют выравнивание языковых моделей и выбор оптимальных ответов. Несмотря на их важность, существующие бенчмарки для моделей вознаграждения часто оценивают модели, запрашивая у них различать между ответами, сгенерированными моделями разной мощности. Однако такой подход не позволяет оценить модели вознаграждения на тонкие, но критически важные изменения содержания и вариации стиля, что приводит к низкой корреляции с производительностью модели политики. В этой связи мы представляем RM-Bench, новый бенчмарк, разработанный для оценки моделей вознаграждения на основе их чувствительности к тонким различиям в содержании и устойчивости к стилевым предвзятостям. Обширные эксперименты показывают, что RM-Bench сильно коррелирует с производительностью модели политики, что делает его надежным инструментом для выбора моделей вознаграждения для эффективного выравнивания языковых моделей. Мы оценили почти 40 моделей вознаграждения на RM-Bench. Наши результаты показывают, что даже самые передовые модели достигают лишь средней производительности 46,6%, что ниже уровня случайной точности (50%) при воздействии стилевых предвзятостей. Эти результаты подчеркивают значительный потенциал для улучшения существующих моделей вознаграждения. Связанный код и данные доступны по ссылке https://github.com/THU-KEG/RM-Bench.

English

Reward models are critical in techniques like Reinforcement Learning from Human Feedback (RLHF) and Inference Scaling Laws, where they guide language model alignment and select optimal responses. Despite their importance, existing reward model benchmarks often evaluate models by asking them to distinguish between responses generated by models of varying power. However, this approach fails to assess reward models on subtle but critical content changes and variations in style, resulting in a low correlation with policy model performance. To this end, we introduce RM-Bench, a novel benchmark designed to evaluate reward models based on their sensitivity to subtle content differences and resistance to style biases. Extensive experiments demonstrate that RM-Bench strongly correlates with policy model performance, making it a reliable reference for selecting reward models to align language models effectively. We evaluate nearly 40 reward models on RM-Bench. Our results reveal that even state-of-the-art models achieve an average performance of only 46.6%, which falls short of random-level accuracy (50%) when faced with style bias interference. These findings highlight the significant room for improvement in current reward models. Related code and data are available at https://github.com/THU-KEG/RM-Bench.