Долгий путь: Исследование корреляций длины в RLHF

A Long Way to Go: Investigating Length Correlations in RLHF

October 5, 2023

Авторы: Prasann Singhal, Tanya Goyal, Jiacheng Xu, Greg Durrett

cs.AI

Аннотация

Значительные успехи были достигнуты с использованием обучения с подкреплением на основе человеческой обратной связи (RLHF) для согласования крупных языковых моделей. Открытые наборы данных предпочтений и модели вознаграждения позволили расширить эксперименты за пределы общих чат-сценариев, особенно для повышения "полезности" систем в таких задачах, как веб-поиск ответов, суммаризация и многоходовые диалоги. При оптимизации на полезность RLHF неизменно приводит к тому, что модели генерируют более длинные ответы. В данной работе демонстрируется, что оптимизация на длину ответа является значимым фактором, лежащим в основе улучшений, достигаемых с помощью RLHF в этих сценариях. Сначала мы исследуем взаимосвязь между вознаграждением и длиной для моделей вознаграждения, обученных на трех открытых наборах данных предпочтений для полезности. Здесь длина сильно коррелирует с вознаграждением, а улучшения в оценке вознаграждения в значительной степени обусловлены смещением распределения длин выходных данных. Затем мы исследуем вмешательства как в процессе обучения с подкреплением, так и в процессе обучения модели вознаграждения, чтобы выяснить, можно ли достичь тех же улучшений, что и с RLHF, без увеличения длины. Хотя наши вмешательства смягчают увеличение длины, они не одинаково эффективны во всех сценариях. Более того, мы обнаруживаем, что даже запуск RLHF с вознаграждением, основанным исключительно на длине, может воспроизвести большую часть улучшений по сравнению с исходной моделью политики, что показывает, что модели вознаграждения в этих сценариях еще далеки от совершенства.

English

Great successes have been reported using Reinforcement Learning from Human Feedback (RLHF) to align large language models. Open-source preference datasets and reward models have enabled wider experimentation beyond generic chat settings, particularly to make systems more "helpful" for tasks like web question answering, summarization, and multi-turn dialogue. When optimizing for helpfulness, RLHF has been consistently observed to drive models to produce longer outputs. This paper demonstrates that optimizing for response length is a significant factor behind RLHF's reported improvements in these settings. First, we study the relationship between reward and length for reward models trained on three open-source preference datasets for helpfulness. Here, length correlates strongly with reward, and improvements in reward score are driven in large part by shifting the distribution over output lengths. We then explore interventions during both RL and reward model learning to see if we can achieve the same downstream improvements as RLHF without increasing length. While our interventions mitigate length increases, they aren't uniformly effective across settings. Furthermore, we find that even running RLHF with a reward based solely on length can reproduce most of the downstream improvements over the initial policy model, showing that reward models in these settings have a long way to go.