Ein langer Weg vor uns: Untersuchung von Längenkorrelationen in RLHF

A Long Way to Go: Investigating Length Correlations in RLHF

October 5, 2023

papers.authors: Prasann Singhal, Tanya Goyal, Jiacheng Xu, Greg Durrett

cs.AI

papers.abstract

Große Erfolge wurden mit Reinforcement Learning from Human Feedback (RLHF) gemeldet, um große Sprachmodelle auszurichten. Open-Source-Präferenzdatensätze und Belohnungsmodelle haben eine breitere Experimentation über generische Chat-Einstellungen hinaus ermöglicht, insbesondere um Systeme für Aufgaben wie Web-Fragebeantwortung, Zusammenfassung und mehrschrittige Dialoge „hilfreicher“ zu machen. Bei der Optimierung auf Hilfsbereitschaft wurde durchweg beobachtet, dass RLHF Modelle dazu antreibt, längere Ausgaben zu erzeugen. Diese Arbeit zeigt, dass die Optimierung der Antwortlänge ein wesentlicher Faktor hinter den gemeldeten Verbesserungen von RLHF in diesen Einstellungen ist. Zunächst untersuchen wir die Beziehung zwischen Belohnung und Länge für Belohnungsmodelle, die auf drei Open-Source-Präferenzdatensätzen für Hilfsbereitschaft trainiert wurden. Hier korreliert die Länge stark mit der Belohnung, und Verbesserungen im Belohnungswert werden größtenteils durch eine Verschiebung der Verteilung über die Ausgabelängen erreicht. Anschließend untersuchen wir Interventionen während des RL- und Belohnungsmodell-Lernens, um zu sehen, ob wir die gleichen nachgelagerten Verbesserungen wie RLHF erzielen können, ohne die Länge zu erhöhen. Während unsere Interventionen Längenzunahmen mildern, sind sie nicht einheitlich effektiv über alle Einstellungen hinweg. Darüber hinaus stellen wir fest, dass selbst die Ausführung von RLHF mit einer Belohnung, die ausschließlich auf der Länge basiert, die meisten der nachgelagerten Verbesserungen gegenüber dem ursprünglichen Richtlinienmodell reproduzieren kann, was zeigt, dass Belohnungsmodelle in diesen Einstellungen noch einen langen Weg vor sich haben.

English

Great successes have been reported using Reinforcement Learning from Human Feedback (RLHF) to align large language models. Open-source preference datasets and reward models have enabled wider experimentation beyond generic chat settings, particularly to make systems more "helpful" for tasks like web question answering, summarization, and multi-turn dialogue. When optimizing for helpfulness, RLHF has been consistently observed to drive models to produce longer outputs. This paper demonstrates that optimizing for response length is a significant factor behind RLHF's reported improvements in these settings. First, we study the relationship between reward and length for reward models trained on three open-source preference datasets for helpfulness. Here, length correlates strongly with reward, and improvements in reward score are driven in large part by shifting the distribution over output lengths. We then explore interventions during both RL and reward model learning to see if we can achieve the same downstream improvements as RLHF without increasing length. While our interventions mitigate length increases, they aren't uniformly effective across settings. Furthermore, we find that even running RLHF with a reward based solely on length can reproduce most of the downstream improvements over the initial policy model, showing that reward models in these settings have a long way to go.