Ensinando Modelos de Linguagem de Grande Escala a Raciocinar com Aprendizado por Reforço

Resumo

O Aprendizado por Reforço com Feedback Humano (RLHF) surgiu como uma abordagem dominante para alinhar as saídas de Modelos de Linguagem de Grande Escala (LLMs) com as preferências humanas. Inspirados pelo sucesso do RLHF, estudamos o desempenho de múltiplos algoritmos que aprendem a partir de feedback (Iteração de Especialista, Otimização de Política Proximal (PPO), Aprendizado por Reforço Condicionado ao Retorno) na melhoria das capacidades de raciocínio dos LLMs. Investigamos tanto recompensas esparsas quanto densas fornecidas ao LLM, tanto heuristicamente quanto por meio de um modelo de recompensa aprendido. Além disso, partimos de múltiplos tamanhos de modelos e inicializações, tanto com quanto sem dados de ajuste fino supervisionado (SFT). No geral, descobrimos que todos os algoritmos têm desempenho comparável, com a Iteração de Especialista apresentando o melhor desempenho na maioria dos casos. Surpreendentemente, descobrimos que a complexidade amostral da Iteração de Especialista é semelhante à do PPO, exigindo no máximo da ordem de 10^6 amostras para convergir a partir de um ponto de verificação pré-treinado. Investigamos por que isso ocorre, concluindo que, durante o treinamento de RL, os modelos falham em explorar significativamente além das soluções já produzidas pelos modelos SFT. Além disso, discutimos uma troca entre as métricas maj@1 e pass@96 durante o treinamento SFT e como, inversamente, o treinamento de RL melhora ambas simultaneamente. Concluímos discutindo as implicações de nossas descobertas para o RLHF e o futuro papel do RL no ajuste fino de LLMs.

English

Reinforcement Learning from Human Feedback (RLHF) has emerged as a dominant approach for aligning LLM outputs with human preferences. Inspired by the success of RLHF, we study the performance of multiple algorithms that learn from feedback (Expert Iteration, Proximal Policy Optimization (PPO), Return-Conditioned RL) on improving LLM reasoning capabilities. We investigate both sparse and dense rewards provided to the LLM both heuristically and via a learned reward model. We additionally start from multiple model sizes and initializations both with and without supervised fine-tuning (SFT) data. Overall, we find all algorithms perform comparably, with Expert Iteration performing best in most cases. Surprisingly, we find the sample complexity of Expert Iteration is similar to that of PPO, requiring at most on the order of 10^6 samples to converge from a pretrained checkpoint. We investigate why this is the case, concluding that during RL training models fail to explore significantly beyond solutions already produced by SFT models. Additionally, we discuss a trade off between maj@1 and pass@96 metric performance during SFT training and how conversely RL training improves both simultaneously. We then conclude by discussing the implications of our findings for RLHF and the future role of RL in LLM fine-tuning.

Ensinando Modelos de Linguagem de Grande Escala a Raciocinar com Aprendizado por Reforço

Teaching Large Language Models to Reason with Reinforcement Learning

Resumo

Support