Insegnare ai Modelli Linguistici di Grandi Dimensioni a Ragionare con l'Apprendimento per Rinforzo

Abstract

Il Reinforcement Learning from Human Feedback (RLHF) è emerso come un approccio dominante per allineare gli output dei Large Language Models (LLM) con le preferenze umane. Ispirati dal successo dell'RLHF, studiamo le prestazioni di diversi algoritmi che apprendono dal feedback (Expert Iteration, Proximal Policy Optimization (PPO), Return-Conditioned RL) nel migliorare le capacità di ragionamento dei LLM. Investigiamo sia ricompense sparse che dense fornite al LLM, sia in modo euristico che tramite un modello di ricompensa appreso. Inoltre, partiamo da diverse dimensioni e inizializzazioni del modello, sia con che senza dati di fine-tuning supervisionato (SFT). Nel complesso, troviamo che tutti gli algoritmi performano in modo comparabile, con Expert Iteration che ottiene i migliori risultati nella maggior parte dei casi. Sorprendentemente, scopriamo che la complessità campionaria di Expert Iteration è simile a quella di PPO, richiedendo al massimo dell'ordine di 10^6 campioni per convergere da un checkpoint pre-addestrato. Investigiamo il motivo di ciò, concludendo che durante l'addestramento RL i modelli non riescono a esplorare significativamente oltre le soluzioni già prodotte dai modelli SFT. Inoltre, discutiamo un compromesso tra le metriche maj@1 e pass@96 durante l'addestramento SFT e come, al contrario, l'addestramento RL migliori entrambe simultaneamente. Concludiamo quindi discutendo le implicazioni dei nostri risultati per l'RLHF e il futuro ruolo del RL nel fine-tuning dei LLM.

English

Reinforcement Learning from Human Feedback (RLHF) has emerged as a dominant approach for aligning LLM outputs with human preferences. Inspired by the success of RLHF, we study the performance of multiple algorithms that learn from feedback (Expert Iteration, Proximal Policy Optimization (PPO), Return-Conditioned RL) on improving LLM reasoning capabilities. We investigate both sparse and dense rewards provided to the LLM both heuristically and via a learned reward model. We additionally start from multiple model sizes and initializations both with and without supervised fine-tuning (SFT) data. Overall, we find all algorithms perform comparably, with Expert Iteration performing best in most cases. Surprisingly, we find the sample complexity of Expert Iteration is similar to that of PPO, requiring at most on the order of 10^6 samples to converge from a pretrained checkpoint. We investigate why this is the case, concluding that during RL training models fail to explore significantly beyond solutions already produced by SFT models. Additionally, we discuss a trade off between maj@1 and pass@96 metric performance during SFT training and how conversely RL training improves both simultaneously. We then conclude by discussing the implications of our findings for RLHF and the future role of RL in LLM fine-tuning.

Insegnare ai Modelli Linguistici di Grandi Dimensioni a Ragionare con l'Apprendimento per Rinforzo

Teaching Large Language Models to Reason with Reinforcement Learning

Abstract

Support