Un largo camino por recorrer: Investigando las correlaciones de longitud en RLHF

A Long Way to Go: Investigating Length Correlations in RLHF

October 5, 2023

Autores: Prasann Singhal, Tanya Goyal, Jiacheng Xu, Greg Durrett

cs.AI

Resumen

Se han reportado grandes éxitos utilizando el Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF, por sus siglas en inglés) para alinear modelos de lenguaje de gran escala. Los conjuntos de datos de preferencias de código abierto y los modelos de recompensa han permitido una experimentación más amplia más allá de los entornos genéricos de chat, particularmente para hacer que los sistemas sean más "útiles" en tareas como la respuesta a preguntas web, la resumen y el diálogo de múltiples turnos. Al optimizar para la utilidad, se ha observado consistentemente que el RLHF impulsa a los modelos a producir salidas más largas. Este artículo demuestra que la optimización de la longitud de la respuesta es un factor significativo detrás de las mejoras reportadas por el RLHF en estos entornos. Primero, estudiamos la relación entre la recompensa y la longitud para los modelos de recompensa entrenados en tres conjuntos de datos de preferencias de código abierto para la utilidad. Aquí, la longitud se correlaciona fuertemente con la recompensa, y las mejoras en la puntuación de recompensa se deben en gran parte a un cambio en la distribución de las longitudes de salida. Luego, exploramos intervenciones durante el aprendizaje tanto del RL como del modelo de recompensa para ver si podemos lograr las mismas mejoras posteriores que el RLHF sin aumentar la longitud. Si bien nuestras intervenciones mitigan los aumentos de longitud, no son uniformemente efectivas en todos los entornos. Además, encontramos que incluso ejecutar el RLHF con una recompensa basada únicamente en la longitud puede reproducir la mayoría de las mejoras posteriores sobre el modelo de política inicial, lo que muestra que los modelos de recompensa en estos entornos tienen un largo camino por recorrer.

English

Great successes have been reported using Reinforcement Learning from Human Feedback (RLHF) to align large language models. Open-source preference datasets and reward models have enabled wider experimentation beyond generic chat settings, particularly to make systems more "helpful" for tasks like web question answering, summarization, and multi-turn dialogue. When optimizing for helpfulness, RLHF has been consistently observed to drive models to produce longer outputs. This paper demonstrates that optimizing for response length is a significant factor behind RLHF's reported improvements in these settings. First, we study the relationship between reward and length for reward models trained on three open-source preference datasets for helpfulness. Here, length correlates strongly with reward, and improvements in reward score are driven in large part by shifting the distribution over output lengths. We then explore interventions during both RL and reward model learning to see if we can achieve the same downstream improvements as RLHF without increasing length. While our interventions mitigate length increases, they aren't uniformly effective across settings. Furthermore, we find that even running RLHF with a reward based solely on length can reproduce most of the downstream improvements over the initial policy model, showing that reward models in these settings have a long way to go.