Una Lunga Strada da Fare: Indagando le Correlazioni di Lunghezza nell'RLHF

A Long Way to Go: Investigating Length Correlations in RLHF

October 5, 2023

Autori: Prasann Singhal, Tanya Goyal, Jiacheng Xu, Greg Durrett

cs.AI

Abstract

Sono stati riportati grandi successi nell'utilizzo del Reinforcement Learning from Human Feedback (RLHF) per allineare i modelli linguistici di grandi dimensioni. I dataset di preferenze open-source e i modelli di ricompensa hanno consentito una sperimentazione più ampia oltre i contesti generici di chat, in particolare per rendere i sistemi più "utili" in compiti come il question answering sul web, la sintesi e i dialoghi multi-turn. Quando si ottimizza per l'utilità, è stato osservato in modo consistente che l'RLHF spinge i modelli a produrre output più lunghi. Questo articolo dimostra che l'ottimizzazione per la lunghezza della risposta è un fattore significativo dietro i miglioramenti riportati dall'RLHF in questi contesti. Innanzitutto, studiamo la relazione tra ricompensa e lunghezza per i modelli di ricompensa addestrati su tre dataset di preferenze open-source per l'utilità. Qui, la lunghezza è fortemente correlata con la ricompensa, e i miglioramenti nel punteggio di ricompensa sono in gran parte guidati da uno spostamento della distribuzione sulle lunghezze degli output. Esploriamo poi interventi durante sia l'apprendimento per rinforzo che l'apprendimento del modello di ricompensa per vedere se possiamo ottenere gli stessi miglioramenti a valle dell'RLHF senza aumentare la lunghezza. Sebbene i nostri interventi mitigano gli aumenti di lunghezza, non sono uniformemente efficaci in tutti i contesti. Inoltre, scopriamo che anche eseguire l'RLHF con una ricompensa basata esclusivamente sulla lunghezza può riprodurre la maggior parte dei miglioramenti a valle rispetto al modello di policy iniziale, dimostrando che i modelli di ricompensa in questi contesti hanno ancora molta strada da fare.

English

Great successes have been reported using Reinforcement Learning from Human Feedback (RLHF) to align large language models. Open-source preference datasets and reward models have enabled wider experimentation beyond generic chat settings, particularly to make systems more "helpful" for tasks like web question answering, summarization, and multi-turn dialogue. When optimizing for helpfulness, RLHF has been consistently observed to drive models to produce longer outputs. This paper demonstrates that optimizing for response length is a significant factor behind RLHF's reported improvements in these settings. First, we study the relationship between reward and length for reward models trained on three open-source preference datasets for helpfulness. Here, length correlates strongly with reward, and improvements in reward score are driven in large part by shifting the distribution over output lengths. We then explore interventions during both RL and reward model learning to see if we can achieve the same downstream improvements as RLHF without increasing length. While our interventions mitigate length increases, they aren't uniformly effective across settings. Furthermore, we find that even running RLHF with a reward based solely on length can reproduce most of the downstream improvements over the initial policy model, showing that reward models in these settings have a long way to go.