HelpSteer2-Preference: Complementando Avaliações com Preferências

HelpSteer2-Preference: Complementing Ratings with Preferences

October 2, 2024

Autores: Zhilin Wang, Alexander Bukharin, Olivier Delalleau, Daniel Egert, Gerald Shen, Jiaqi Zeng, Oleksii Kuchaiev, Yi Dong

cs.AI

Resumo

Os modelos de recompensa são fundamentais para alinhar os modelos a seguir instruções e geralmente são treinados seguindo um dos dois paradigmas populares: estilo Bradley-Terry ou estilo de Regressão. No entanto, não há evidências de que um seja melhor que o outro, quando adequadamente comparados com os dados. Isso ocorre principalmente porque essas abordagens requerem dados coletados em formatos diferentes (mas incompatíveis), o que significa que dados adequadamente comparados não estão disponíveis nos conjuntos de dados públicos existentes. Para enfrentar esse problema, lançamos anotações de preferência (projetadas para treinamento Bradley-Terry) para complementar as classificações existentes (projetadas para treinamento no estilo de Regressão) no conjunto de dados HelpSteer2. Para melhorar a interpretabilidade dos dados, as anotações de preferência são acompanhadas de justificativas escritas por humanos. Usando esses dados, realizamos a primeira comparação direta entre os modelos Bradley-Terry e de Regressão quando adequadamente comparados com os dados. Com base nos insights derivados de tal comparação, propomos uma abordagem inovadora para combinar a modelagem de recompensa Bradley-Terry e de Regressão. Um modelo Llama-3.1-70B-Instruct ajustado com essa abordagem alcança uma pontuação de 94,1 no RewardBench, emergindo no topo de mais de 140 modelos de recompensa até 1 de outubro de 2024. Também demonstramos a eficácia desse modelo de recompensa em alinhar os modelos a seguir instruções em RLHF. Disponibilizamos este conjunto de dados de código aberto (licença CC-BY-4.0) em https://huggingface.co/datasets/nvidia/HelpSteer2 e lançamos abertamente o Modelo de Recompensa treinado em https://huggingface.co/nvidia/Llama-3.1-Nemotron-70B-Reward.

English

Reward models are critical for aligning models to follow instructions, and are typically trained following one of two popular paradigms: Bradley-Terry style or Regression style. However, there is a lack of evidence that either approach is better than the other, when adequately matched for data. This is primarily because these approaches require data collected in different (but incompatible) formats, meaning that adequately matched data is not available in existing public datasets. To tackle this problem, we release preference annotations (designed for Bradley-Terry training) to complement existing ratings (designed for Regression style training) in the HelpSteer2 dataset. To improve data interpretability, preference annotations are accompanied with human-written justifications. Using this data, we conduct the first head-to-head comparison of Bradley-Terry and Regression models when adequately matched for data. Based on insights derived from such a comparison, we propose a novel approach to combine Bradley-Terry and Regression reward modeling. A Llama-3.1-70B-Instruct model tuned with this approach scores 94.1 on RewardBench, emerging top of more than 140 reward models as of 1 Oct 2024. We also demonstrate the effectiveness of this reward model at aligning models to follow instructions in RLHF. We open-source this dataset (CC-BY-4.0 license) at https://huggingface.co/datasets/nvidia/HelpSteer2 and openly release the trained Reward Model at https://huggingface.co/nvidia/Llama-3.1-Nemotron-70B-Reward