Um Longo Caminho a Percorrer: Investigando Correlações de Comprimento no RLHF

A Long Way to Go: Investigating Length Correlations in RLHF

October 5, 2023

Autores: Prasann Singhal, Tanya Goyal, Jiacheng Xu, Greg Durrett

cs.AI

Resumo

Grandes sucessos foram relatados utilizando o Aprendizado por Reforço com Feedback Humano (RLHF) para alinhar grandes modelos de linguagem. Conjuntos de dados de preferência de código aberto e modelos de recompensa permitiram uma experimentação mais ampla além de configurações genéricas de chat, particularmente para tornar os sistemas mais "úteis" em tarefas como resposta a perguntas na web, sumarização e diálogo multi-turno. Ao otimizar para utilidade, observou-se consistentemente que o RLHF leva os modelos a produzir saídas mais longas. Este artigo demonstra que a otimização para o comprimento da resposta é um fator significativo por trás das melhorias relatadas do RLHF nessas configurações. Primeiro, estudamos a relação entre recompensa e comprimento para modelos de recompensa treinados em três conjuntos de dados de preferência de código aberto para utilidade. Aqui, o comprimento correlaciona-se fortemente com a recompensa, e as melhorias na pontuação de recompensa são impulsionadas em grande parte pela mudança na distribuição sobre os comprimentos das saídas. Em seguida, exploramos intervenções durante o aprendizado por reforço e o aprendizado do modelo de recompensa para ver se podemos alcançar as mesmas melhorias downstream que o RLHF sem aumentar o comprimento. Embora nossas intervenções mitiguem os aumentos de comprimento, elas não são uniformemente eficazes em todas as configurações. Além disso, descobrimos que mesmo executar o RLHF com uma recompensa baseada apenas no comprimento pode reproduzir a maioria das melhorias downstream em relação ao modelo de política inicial, mostrando que os modelos de recompensa nessas configurações ainda têm um longo caminho a percorrer.

English

Great successes have been reported using Reinforcement Learning from Human Feedback (RLHF) to align large language models. Open-source preference datasets and reward models have enabled wider experimentation beyond generic chat settings, particularly to make systems more "helpful" for tasks like web question answering, summarization, and multi-turn dialogue. When optimizing for helpfulness, RLHF has been consistently observed to drive models to produce longer outputs. This paper demonstrates that optimizing for response length is a significant factor behind RLHF's reported improvements in these settings. First, we study the relationship between reward and length for reward models trained on three open-source preference datasets for helpfulness. Here, length correlates strongly with reward, and improvements in reward score are driven in large part by shifting the distribution over output lengths. We then explore interventions during both RL and reward model learning to see if we can achieve the same downstream improvements as RLHF without increasing length. While our interventions mitigate length increases, they aren't uniformly effective across settings. Furthermore, we find that even running RLHF with a reward based solely on length can reproduce most of the downstream improvements over the initial policy model, showing that reward models in these settings have a long way to go.