Enseigner aux grands modèles de langage à raisonner grâce à l'apprentissage par renforcement

Résumé

L'apprentissage par renforcement à partir de retours humains (RLHF) est devenu une approche dominante pour aligner les sorties des modèles de langage (LLM) avec les préférences humaines. Inspirés par le succès du RLHF, nous étudions les performances de plusieurs algorithmes qui apprennent à partir de retours (Expert Iteration, Proximal Policy Optimization (PPO), Return-Conditioned RL) pour améliorer les capacités de raisonnement des LLM. Nous examinons à la fois les récompenses éparses et denses fournies au LLM, de manière heuristique et via un modèle de récompense appris. Nous explorons également plusieurs tailles de modèles et initialisations, avec et sans données de fine-tuning supervisé (SFT). Globalement, nous constatons que tous les algorithmes performent de manière comparable, avec Expert Iteration qui obtient les meilleurs résultats dans la plupart des cas. Étonnamment, nous observons que la complexité en échantillons d'Expert Iteration est similaire à celle de PPO, nécessitant au plus de l'ordre de 10^6 échantillons pour converger à partir d'un point de contrôle pré-entraîné. Nous investiguons les raisons de ce phénomène, concluant que pendant l'entraînement par renforcement, les modèles échouent à explorer significativement au-delà des solutions déjà produites par les modèles SFT. De plus, nous discutons d'un compromis entre les métriques maj@1 et pass@96 pendant l'entraînement SFT, et comment, à l'inverse, l'entraînement par renforcement améliore les deux simultanément. Nous concluons en discutant des implications de nos résultats pour le RLHF et du rôle futur du renforcement dans le fine-tuning des LLM.

English

Reinforcement Learning from Human Feedback (RLHF) has emerged as a dominant approach for aligning LLM outputs with human preferences. Inspired by the success of RLHF, we study the performance of multiple algorithms that learn from feedback (Expert Iteration, Proximal Policy Optimization (PPO), Return-Conditioned RL) on improving LLM reasoning capabilities. We investigate both sparse and dense rewards provided to the LLM both heuristically and via a learned reward model. We additionally start from multiple model sizes and initializations both with and without supervised fine-tuning (SFT) data. Overall, we find all algorithms perform comparably, with Expert Iteration performing best in most cases. Surprisingly, we find the sample complexity of Expert Iteration is similar to that of PPO, requiring at most on the order of 10^6 samples to converge from a pretrained checkpoint. We investigate why this is the case, concluding that during RL training models fail to explore significantly beyond solutions already produced by SFT models. Additionally, we discuss a trade off between maj@1 and pass@96 metric performance during SFT training and how conversely RL training improves both simultaneously. We then conclude by discussing the implications of our findings for RLHF and the future role of RL in LLM fine-tuning.

Enseigner aux grands modèles de langage à raisonner grâce à l'apprentissage par renforcement

Teaching Large Language Models to Reason with Reinforcement Learning

Résumé

Support