RM-Bench: Avaliando Modelos de Recompensa de Modelos de Linguagem com Subtileza e Estilo

RM-Bench: Benchmarking Reward Models of Language Models with Subtlety and Style

October 21, 2024

Autores: Yantao Liu, Zijun Yao, Rui Min, Yixin Cao, Lei Hou, Juanzi Li

cs.AI

Resumo

Os modelos de recompensa são críticos em técnicas como Aprendizado por Reforço a partir de Feedback Humano (RLHF) e Leis de Escalonamento de Inferência, onde eles orientam o alinhamento do modelo de linguagem e selecionam respostas ótimas. Apesar de sua importância, os benchmarks existentes para modelos de recompensa frequentemente avaliam os modelos pedindo que eles distingam entre respostas geradas por modelos de diferentes capacidades. No entanto, essa abordagem falha em avaliar os modelos de recompensa em mudanças de conteúdo sutis, mas críticas, e variações de estilo, resultando em uma baixa correlação com o desempenho do modelo de política. Nesse sentido, apresentamos o RM-Bench, um novo benchmark projetado para avaliar modelos de recompensa com base em sua sensibilidade a diferenças sutis de conteúdo e resistência a preconceitos de estilo. Experimentos extensivos demonstram que o RM-Bench se correlaciona fortemente com o desempenho do modelo de política, tornando-se uma referência confiável para selecionar modelos de recompensa para alinhar efetivamente modelos de linguagem. Avaliamos quase 40 modelos de recompensa no RM-Bench. Nossos resultados revelam que mesmo os modelos de ponta alcançam um desempenho médio de apenas 46,6%, o que fica aquém da precisão ao nível aleatório (50%) quando confrontados com interferência de preconceitos de estilo. Essas descobertas destacam a significativa margem para melhoria nos modelos de recompensa atuais. O código relacionado e os dados estão disponíveis em https://github.com/THU-KEG/RM-Bench.

English

Reward models are critical in techniques like Reinforcement Learning from Human Feedback (RLHF) and Inference Scaling Laws, where they guide language model alignment and select optimal responses. Despite their importance, existing reward model benchmarks often evaluate models by asking them to distinguish between responses generated by models of varying power. However, this approach fails to assess reward models on subtle but critical content changes and variations in style, resulting in a low correlation with policy model performance. To this end, we introduce RM-Bench, a novel benchmark designed to evaluate reward models based on their sensitivity to subtle content differences and resistance to style biases. Extensive experiments demonstrate that RM-Bench strongly correlates with policy model performance, making it a reliable reference for selecting reward models to align language models effectively. We evaluate nearly 40 reward models on RM-Bench. Our results reveal that even state-of-the-art models achieve an average performance of only 46.6%, which falls short of random-level accuracy (50%) when faced with style bias interference. These findings highlight the significant room for improvement in current reward models. Related code and data are available at https://github.com/THU-KEG/RM-Bench.