RM-Bench: Benchmarking von Belohnungsmodellen von Sprachmodellen hinsichtlich Feinheit und Stil

RM-Bench: Benchmarking Reward Models of Language Models with Subtlety and Style

October 21, 2024

Autoren: Yantao Liu, Zijun Yao, Rui Min, Yixin Cao, Lei Hou, Juanzi Li

cs.AI

Zusammenfassung

Belohnungsmodelle sind entscheidend in Techniken wie dem Lernen aus menschlichem Feedback (RLHF) und Inferenzskalengesetzen, wo sie die Ausrichtung von Sprachmodellen steuern und optimale Antworten auswählen. Trotz ihrer Bedeutung bewerten bestehende Benchmark-Modelle für Belohnungsmodelle oft Modelle, indem sie sie auffordern, zwischen Antworten zu unterscheiden, die von Modellen unterschiedlicher Leistung erzeugt wurden. Dieser Ansatz versäumt es jedoch, Belohnungsmodelle auf subtile, aber entscheidende Inhaltsänderungen und Variationen im Stil zu bewerten, was zu einer geringen Korrelation mit der Leistung des Richtlinienmodells führt. Zu diesem Zweck stellen wir RM-Bench vor, einen neuen Benchmark, der entwickelt wurde, um Belohnungsmodelle anhand ihrer Empfindlichkeit für subtile Inhaltsunterschiede und ihrer Resistenz gegen Stilvorurteile zu bewerten. Umfangreiche Experimente zeigen, dass RM-Bench stark mit der Leistung des Richtlinienmodells korreliert, was es zu einer zuverlässigen Referenz für die Auswahl von Belohnungsmodellen macht, um Sprachmodelle effektiv auszurichten. Wir bewerten fast 40 Belohnungsmodelle auf RM-Bench. Unsere Ergebnisse zeigen, dass selbst modernste Modelle nur eine durchschnittliche Leistung von 46,6% erreichen, was unter der Zufallsgenauigkeit (50%) liegt, wenn sie mit Stilvorurteilen konfrontiert werden. Diese Ergebnisse verdeutlichen den erheblichen Verbesserungsbedarf bei aktuellen Belohnungsmodellen. Der zugehörige Code und die Daten sind unter https://github.com/THU-KEG/RM-Bench verfügbar.

English

Reward models are critical in techniques like Reinforcement Learning from Human Feedback (RLHF) and Inference Scaling Laws, where they guide language model alignment and select optimal responses. Despite their importance, existing reward model benchmarks often evaluate models by asking them to distinguish between responses generated by models of varying power. However, this approach fails to assess reward models on subtle but critical content changes and variations in style, resulting in a low correlation with policy model performance. To this end, we introduce RM-Bench, a novel benchmark designed to evaluate reward models based on their sensitivity to subtle content differences and resistance to style biases. Extensive experiments demonstrate that RM-Bench strongly correlates with policy model performance, making it a reliable reference for selecting reward models to align language models effectively. We evaluate nearly 40 reward models on RM-Bench. Our results reveal that even state-of-the-art models achieve an average performance of only 46.6%, which falls short of random-level accuracy (50%) when faced with style bias interference. These findings highlight the significant room for improvement in current reward models. Related code and data are available at https://github.com/THU-KEG/RM-Bench.