M-RewardBench: Evaluando Modelos de Recompensa en Entornos Multilingües

M-RewardBench: Evaluating Reward Models in Multilingual Settings

October 20, 2024

Autores: Srishti Gureja, Lester James V. Miranda, Shayekh Bin Islam, Rishabh Maheshwary, Drishti Sharma, Gusti Winata, Nathan Lambert, Sebastian Ruder, Sara Hooker, Marzieh Fadaee

cs.AI

Resumen

Los modelos de recompensa (RMs) han impulsado el rendimiento de vanguardia de los LLMs hoy en día al permitir la integración de la retroalimentación humana en el proceso de modelado del lenguaje. Sin embargo, los RMs se entrenan y evalúan principalmente en inglés, y sus capacidades en entornos multilingües siguen siendo ampliamente subestudiadas. En este trabajo, realizamos una evaluación sistemática de varios modelos de recompensa en entornos multilingües. Primero construimos el banco de evaluación de modelos de recompensa multilingüe, M-RewardBench, único en su tipo, que consta de 2.87k instancias de preferencia para 23 idiomas tipológicamente diversos, que evalúa las capacidades de chat, seguridad, razonamiento y traducción de los RMs. Luego evaluamos rigurosamente una amplia gama de modelos de recompensa en M-RewardBench, ofreciendo nuevas perspectivas sobre su rendimiento en diversos idiomas. Identificamos una brecha significativa en el rendimiento de los RMs entre los idiomas inglés y no inglés, y demostramos que las preferencias de los RMs pueden cambiar sustancialmente de un idioma a otro. También presentamos varios hallazgos sobre cómo diferentes aspectos multilingües impactan en el rendimiento de los RMs. Específicamente, mostramos que el rendimiento de los RMs mejora con una mejor calidad de traducción. De igual manera, demostramos que los modelos muestran un mejor rendimiento para los idiomas con más recursos. Publicamos el conjunto de datos M-RewardBench y el código fuente en este estudio para facilitar una mejor comprensión de la evaluación de RMs en entornos multilingües.

English

Reward models (RMs) have driven the state-of-the-art performance of LLMs today by enabling the integration of human feedback into the language modeling process. However, RMs are primarily trained and evaluated in English, and their capabilities in multilingual settings remain largely understudied. In this work, we conduct a systematic evaluation of several reward models in multilingual settings. We first construct the first-of-its-kind multilingual RM evaluation benchmark, M-RewardBench, consisting of 2.87k preference instances for 23 typologically diverse languages, that tests the chat, safety, reasoning, and translation capabilities of RMs. We then rigorously evaluate a wide range of reward models on M-RewardBench, offering fresh insights into their performance across diverse languages. We identify a significant gap in RMs' performances between English and non-English languages and show that RM preferences can change substantially from one language to another. We also present several findings on how different multilingual aspects impact RM performance. Specifically, we show that the performance of RMs is improved with improved translation quality. Similarly, we demonstrate that the models exhibit better performance for high-resource languages. We release M-RewardBench dataset and the codebase in this study to facilitate a better understanding of RM evaluation in multilingual settings.