RM-Bench: Evaluación comparativa de modelos de recompensa de modelos de lenguaje con sutileza y estilo

RM-Bench: Benchmarking Reward Models of Language Models with Subtlety and Style

October 21, 2024

Autores: Yantao Liu, Zijun Yao, Rui Min, Yixin Cao, Lei Hou, Juanzi Li

cs.AI

Resumen

Los modelos de recompensa son críticos en técnicas como el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) y las Leyes de Escalado de Inferencia, donde guían la alineación del modelo de lenguaje y seleccionan respuestas óptimas. A pesar de su importancia, los bancos de pruebas de modelos de recompensa existentes a menudo evalúan los modelos pidiéndoles que distingan entre respuestas generadas por modelos de diferentes capacidades. Sin embargo, este enfoque no logra evaluar los modelos de recompensa en cambios de contenido sutiles pero críticos y variaciones en el estilo, lo que resulta en una baja correlación con el rendimiento del modelo de política. Con este fin, presentamos RM-Bench, un nuevo banco de pruebas diseñado para evaluar los modelos de recompensa en función de su sensibilidad a las diferencias sutiles de contenido y su resistencia a los sesgos de estilo. Experimentos extensos demuestran que RM-Bench correlaciona fuertemente con el rendimiento del modelo de política, convirtiéndolo en una referencia confiable para seleccionar modelos de recompensa y alinear eficazmente los modelos de lenguaje. Evaluamos casi 40 modelos de recompensa en RM-Bench. Nuestros resultados revelan que incluso los modelos de última generación logran un rendimiento promedio de solo el 46.6%, que no alcanza la precisión a nivel aleatorio (50%) cuando se enfrentan a interferencias de sesgo de estilo. Estos hallazgos resaltan el significativo margen de mejora en los modelos de recompensa actuales. El código y los datos relacionados están disponibles en https://github.com/THU-KEG/RM-Bench.

English

Reward models are critical in techniques like Reinforcement Learning from Human Feedback (RLHF) and Inference Scaling Laws, where they guide language model alignment and select optimal responses. Despite their importance, existing reward model benchmarks often evaluate models by asking them to distinguish between responses generated by models of varying power. However, this approach fails to assess reward models on subtle but critical content changes and variations in style, resulting in a low correlation with policy model performance. To this end, we introduce RM-Bench, a novel benchmark designed to evaluate reward models based on their sensitivity to subtle content differences and resistance to style biases. Extensive experiments demonstrate that RM-Bench strongly correlates with policy model performance, making it a reliable reference for selecting reward models to align language models effectively. We evaluate nearly 40 reward models on RM-Bench. Our results reveal that even state-of-the-art models achieve an average performance of only 46.6%, which falls short of random-level accuracy (50%) when faced with style bias interference. These findings highlight the significant room for improvement in current reward models. Related code and data are available at https://github.com/THU-KEG/RM-Bench.