Enseñando a los Modelos de Lenguaje de Gran Escala a Razonar con Aprendizaje por Refuerzo

Resumen

El Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF, por sus siglas en inglés) ha surgido como un enfoque dominante para alinear las salidas de los Modelos de Lenguaje de Gran Escala (LLM) con las preferencias humanas. Inspirados por el éxito del RLHF, estudiamos el rendimiento de múltiples algoritmos que aprenden de la retroalimentación (Iteración de Expertos, Optimización de Políticas Proximales (PPO), Aprendizaje por Refuerzo Condicionado por Retorno) en la mejora de las capacidades de razonamiento de los LLM. Investigamos tanto recompensas dispersas como densas proporcionadas al LLM, tanto de manera heurística como a través de un modelo de recompensa aprendido. Además, comenzamos con múltiples tamaños de modelos e inicializaciones, tanto con como sin datos de ajuste fino supervisado (SFT). En general, encontramos que todos los algoritmos tienen un rendimiento comparable, siendo la Iteración de Expertos la que mejor funciona en la mayoría de los casos. Sorprendentemente, encontramos que la complejidad de muestreo de la Iteración de Expertos es similar a la de PPO, requiriendo como máximo del orden de 10^6 muestras para converger desde un punto de control preentrenado. Investigamos por qué ocurre esto, concluyendo que durante el entrenamiento por refuerzo, los modelos no logran explorar significativamente más allá de las soluciones ya producidas por los modelos SFT. Además, discutimos un equilibrio entre las métricas maj@1 y pass@96 durante el entrenamiento SFT y cómo, por el contrario, el entrenamiento por refuerzo mejora ambas simultáneamente. Finalmente, concluimos discutiendo las implicaciones de nuestros hallazgos para el RLHF y el futuro papel del aprendizaje por refuerzo en el ajuste fino de los LLM.

English

Reinforcement Learning from Human Feedback (RLHF) has emerged as a dominant approach for aligning LLM outputs with human preferences. Inspired by the success of RLHF, we study the performance of multiple algorithms that learn from feedback (Expert Iteration, Proximal Policy Optimization (PPO), Return-Conditioned RL) on improving LLM reasoning capabilities. We investigate both sparse and dense rewards provided to the LLM both heuristically and via a learned reward model. We additionally start from multiple model sizes and initializations both with and without supervised fine-tuning (SFT) data. Overall, we find all algorithms perform comparably, with Expert Iteration performing best in most cases. Surprisingly, we find the sample complexity of Expert Iteration is similar to that of PPO, requiring at most on the order of 10^6 samples to converge from a pretrained checkpoint. We investigate why this is the case, concluding that during RL training models fail to explore significantly beyond solutions already produced by SFT models. Additionally, we discuss a trade off between maj@1 and pass@96 metric performance during SFT training and how conversely RL training improves both simultaneously. We then conclude by discussing the implications of our findings for RLHF and the future role of RL in LLM fine-tuning.

Enseñando a los Modelos de Lenguaje de Gran Escala a Razonar con Aprendizaje por Refuerzo

Teaching Large Language Models to Reason with Reinforcement Learning

Resumen

Support