reWordBench: Valutazione e Miglioramento della Robustezza dei Modelli di Ricompensa con Input Trasformati
reWordBench: Benchmarking and Improving the Robustness of Reward Models with Transformed Inputs
March 14, 2025
Autori: Zhaofeng Wu, Michihiro Yasunaga, Andrew Cohen, Yoon Kim, Asli Celikyilmaz, Marjan Ghazvininejad
cs.AI
Abstract
I modelli di ricompensa sono diventati un elemento fondamentale nel NLP moderno, fungendo non solo da valutatori di testo scalabili, ma anche da componenti indispensabili in molte ricette di allineamento e algoritmi di inferenza in tempo reale. Tuttavia, sebbene i recenti modelli di ricompensa migliorino le prestazioni sui benchmark standard, ciò potrebbe essere in parte dovuto a effetti di overfitting, che confonderebbero la comprensione delle loro vere capacità. In questo lavoro, esaminiamo la robustezza dei modelli di ricompensa e l'entità di tale overfitting. Costruiamo **reWordBench**, che trasforma sistematicamente gli input dei modelli di ricompensa in modi che preservano il significato o l'ordinamento. Mostriamo che i modelli di ricompensa all'avanguardia subiscono un sostanziale degrado delle prestazioni anche con trasformazioni minime degli input, scendendo talvolta a un'accuratezza significativamente inferiore a quella casuale, suggerendo una certa fragilità. Per migliorare la robustezza dei modelli di ricompensa, proponiamo di addestrarli esplicitamente ad assegnare punteggi simili alle parafrasi, e scopriamo che questo approccio migliora anche la robustezza ad altri tipi distinti di trasformazioni. Ad esempio, il nostro modello di ricompensa robusto riduce tale degrado di circa la metà per il sottoinsieme Chat Hard in RewardBench. Inoltre, quando utilizzati nell'allineamento, i nostri modelli di ricompensa robusti dimostrano una migliore utilità e portano a output di qualità superiore, vincendo fino al 59% delle istanze contro un modello di ricompensa addestrato in modo standard.
English
Reward models have become a staple in modern NLP, serving as not only a
scalable text evaluator, but also an indispensable component in many alignment
recipes and inference-time algorithms. However, while recent reward models
increase performance on standard benchmarks, this may partly be due to
overfitting effects, which would confound an understanding of their true
capability. In this work, we scrutinize the robustness of reward models and the
extent of such overfitting. We build **reWordBench**, which systematically
transforms reward model inputs in meaning- or ranking-preserving ways. We show
that state-of-the-art reward models suffer from substantial performance
degradation even with minor input transformations, sometimes dropping to
significantly below-random accuracy, suggesting brittleness. To improve reward
model robustness, we propose to explicitly train them to assign similar scores
to paraphrases, and find that this approach also improves robustness to other
distinct kinds of transformations. For example, our robust reward model reduces
such degradation by roughly half for the Chat Hard subset in RewardBench.
Furthermore, when used in alignment, our robust reward models demonstrate
better utility and lead to higher-quality outputs, winning in up to 59% of
instances against a standardly trained RM.