HelpSteer2-Preference: Дополнение оценок предпочтениями

HelpSteer2-Preference: Complementing Ratings with Preferences

October 2, 2024

Авторы: Zhilin Wang, Alexander Bukharin, Olivier Delalleau, Daniel Egert, Gerald Shen, Jiaqi Zeng, Oleksii Kuchaiev, Yi Dong

cs.AI

Аннотация

Модели вознаграждения являются критически важными для выравнивания моделей с инструкциями и обычно обучаются по одной из двух популярных парадигм: стилю Брэдли-Терри или стилю Регрессии. Однако нет доказательств того, что один подход лучше другого, когда данные должны быть адекватно согласованы. Это в основном связано с тем, что эти подходы требуют данных, собранных в различных (но несовместимых) форматах, что означает, что адекватно согласованные данные недоступны в существующих общедоступных наборах данных. Для решения этой проблемы мы выпускаем аннотации предпочтений (разработанные для обучения по методу Брэдли-Терри) для дополнения существующих рейтингов (разработанных для обучения в стиле Регрессии) в наборе данных HelpSteer2. Для улучшения интерпретируемости данных, аннотации предпочтений сопровождаются обоснованиями, написанными людьми. Используя эти данные, мы проводим первое сравнение моделей Брэдли-Терри и Регрессии, когда данные адекватно согласованы. Основываясь на выводах, полученных из такого сравнения, мы предлагаем новый подход к объединению моделей вознаграждения Брэдли-Терри и Регрессии. Модель Llama-3.1-70B-Instruct, настроенная с использованием этого подхода, набирает 94.1 на платформе RewardBench, занимая первое место среди более чем 140 моделей вознаграждения на 1 октября 2024 года. Мы также демонстрируем эффективность этой модели вознаграждения в выравнивании моделей с инструкциями в RLHF. Мы открываем исходный код этого набора данных (лицензия CC-BY-4.0) по адресу https://huggingface.co/datasets/nvidia/HelpSteer2 и открыто предоставляем обученную модель вознаграждения по адресу https://huggingface.co/nvidia/Llama-3.1-Nemotron-70B-Reward.

English

Reward models are critical for aligning models to follow instructions, and are typically trained following one of two popular paradigms: Bradley-Terry style or Regression style. However, there is a lack of evidence that either approach is better than the other, when adequately matched for data. This is primarily because these approaches require data collected in different (but incompatible) formats, meaning that adequately matched data is not available in existing public datasets. To tackle this problem, we release preference annotations (designed for Bradley-Terry training) to complement existing ratings (designed for Regression style training) in the HelpSteer2 dataset. To improve data interpretability, preference annotations are accompanied with human-written justifications. Using this data, we conduct the first head-to-head comparison of Bradley-Terry and Regression models when adequately matched for data. Based on insights derived from such a comparison, we propose a novel approach to combine Bradley-Terry and Regression reward modeling. A Llama-3.1-70B-Instruct model tuned with this approach scores 94.1 on RewardBench, emerging top of more than 140 reward models as of 1 Oct 2024. We also demonstrate the effectiveness of this reward model at aligning models to follow instructions in RLHF. We open-source this dataset (CC-BY-4.0 license) at https://huggingface.co/datasets/nvidia/HelpSteer2 and openly release the trained Reward Model at https://huggingface.co/nvidia/Llama-3.1-Nemotron-70B-Reward