M-RewardBench: Valutazione dei Modelli di Ricompensa in Contesti Multilingue

M-RewardBench: Evaluating Reward Models in Multilingual Settings

October 20, 2024

Autori: Srishti Gureja, Lester James V. Miranda, Shayekh Bin Islam, Rishabh Maheshwary, Drishti Sharma, Gusti Winata, Nathan Lambert, Sebastian Ruder, Sara Hooker, Marzieh Fadaee

cs.AI

Abstract

I modelli di ricompensa (RMs) hanno guidato le prestazioni all'avanguardia dei LLMs oggi consentendo l'integrazione del feedback umano nel processo di modellazione del linguaggio. Tuttavia, i RMs sono principalmente addestrati e valutati in inglese e le loro capacità in contesti multilingue rimangono in gran parte poco studiate. In questo lavoro, conduciamo una valutazione sistematica di diversi modelli di ricompensa in contesti multilingue. Costruiamo innanzitutto il benchmark di valutazione dei modelli di ricompensa multilingue, M-RewardBench, unico nel suo genere, composto da 2,87k istanze di preferenza per 23 lingue tipologicamente diverse, che testa le capacità di chat, sicurezza, ragionamento e traduzione dei RMs. Valutiamo poi rigorosamente una vasta gamma di modelli di ricompensa su M-RewardBench, offrendo nuove intuizioni sulle loro prestazioni attraverso diverse lingue. Identifichiamo un divario significativo nelle prestazioni dei RMs tra lingue in inglese e non in inglese e mostriamo che le preferenze dei RM possono cambiare sostanzialmente da una lingua all'altra. Presentiamo inoltre diverse scoperte su come diversi aspetti multilingue influenzano le prestazioni dei RM. In particolare, mostriamo che le prestazioni dei RMs migliorano con una migliore qualità della traduzione. Allo stesso modo, dimostriamo che i modelli mostrano migliori prestazioni per le lingue ad alto livello di risorse. Rilasciamo il dataset M-RewardBench e il codice sorgente in questo studio per facilitare una migliore comprensione della valutazione dei RM in contesti multilingue.

English

Reward models (RMs) have driven the state-of-the-art performance of LLMs today by enabling the integration of human feedback into the language modeling process. However, RMs are primarily trained and evaluated in English, and their capabilities in multilingual settings remain largely understudied. In this work, we conduct a systematic evaluation of several reward models in multilingual settings. We first construct the first-of-its-kind multilingual RM evaluation benchmark, M-RewardBench, consisting of 2.87k preference instances for 23 typologically diverse languages, that tests the chat, safety, reasoning, and translation capabilities of RMs. We then rigorously evaluate a wide range of reward models on M-RewardBench, offering fresh insights into their performance across diverse languages. We identify a significant gap in RMs' performances between English and non-English languages and show that RM preferences can change substantially from one language to another. We also present several findings on how different multilingual aspects impact RM performance. Specifically, we show that the performance of RMs is improved with improved translation quality. Similarly, we demonstrate that the models exhibit better performance for high-resource languages. We release M-RewardBench dataset and the codebase in this study to facilitate a better understanding of RM evaluation in multilingual settings.