RM-Bench: Benchmarking dei Modelli di Ricompensa dei Modelli Linguistici con Sottigliezza e Stile

RM-Bench: Benchmarking Reward Models of Language Models with Subtlety and Style

October 21, 2024

Autori: Yantao Liu, Zijun Yao, Rui Min, Yixin Cao, Lei Hou, Juanzi Li

cs.AI

Abstract

I modelli di ricompensa sono fondamentali in tecniche come il Reinforcement Learning from Human Feedback (RLHF) e le Leggi di Scaling dell'Inferenza, dove guidano l'allineamento dei modelli linguistici e la selezione delle risposte ottimali. Nonostante la loro importanza, i benchmark esistenti per i modelli di ricompensa valutano spesso i modelli chiedendo loro di distinguere tra risposte generate da modelli di potenza variabile. Tuttavia, questo approccio non riesce a valutare i modelli di ricompensa su cambiamenti di contenuto sottili ma cruciali e variazioni di stile, risultando in una bassa correlazione con le prestazioni del modello di policy. A questo scopo, presentiamo RM-Bench, un nuovo benchmark progettato per valutare i modelli di ricompensa in base alla loro sensibilità alle differenze di contenuto sottili e alla resistenza ai bias di stile. Esperimenti estesi dimostrano che RM-Bench correla fortemente con le prestazioni del modello di policy, rendendolo un riferimento affidabile per la selezione dei modelli di ricompensa per allineare efficacemente i modelli linguistici. Valutiamo quasi 40 modelli di ricompensa su RM-Bench. I nostri risultati rivelano che anche i modelli all'avanguardia raggiungono una prestazione media di soli 46,6%, che non raggiunge l'accuratezza a livello casuale (50%) quando si confrontano con interferenze di bias di stile. Queste scoperte evidenziano un significativo margine di miglioramento nei modelli di ricompensa attuali. Il codice e i dati correlati sono disponibili su https://github.com/THU-KEG/RM-Bench.

English

Reward models are critical in techniques like Reinforcement Learning from Human Feedback (RLHF) and Inference Scaling Laws, where they guide language model alignment and select optimal responses. Despite their importance, existing reward model benchmarks often evaluate models by asking them to distinguish between responses generated by models of varying power. However, this approach fails to assess reward models on subtle but critical content changes and variations in style, resulting in a low correlation with policy model performance. To this end, we introduce RM-Bench, a novel benchmark designed to evaluate reward models based on their sensitivity to subtle content differences and resistance to style biases. Extensive experiments demonstrate that RM-Bench strongly correlates with policy model performance, making it a reliable reference for selecting reward models to align language models effectively. We evaluate nearly 40 reward models on RM-Bench. Our results reveal that even state-of-the-art models achieve an average performance of only 46.6%, which falls short of random-level accuracy (50%) when faced with style bias interference. These findings highlight the significant room for improvement in current reward models. Related code and data are available at https://github.com/THU-KEG/RM-Bench.