Das Lehren großer Sprachmodelle, um mit Verstärkendem Lernen zu schlussfolgern

Zusammenfassung

Das Lernen durch Verstärkung aus menschlichem Feedback (RLHF) hat sich als dominanter Ansatz zur Ausrichtung von LLM-Ausgaben an menschlichen Präferenzen herausgebildet. Inspiriert vom Erfolg von RLHF untersuchen wir die Leistung mehrerer Algorithmen, die aus Rückmeldungen lernen (Expert Iteration, Proximal Policy Optimization (PPO), Return-Conditioned RL), um die Argumentationsfähigkeiten von LLM zu verbessern. Wir untersuchen sowohl spärliche als auch dichte Belohnungen, die dem LLM heuristisch und über ein erlerntes Belohnungsmodell bereitgestellt werden. Darüber hinaus starten wir mit mehreren Modellgrößen und Initialisierungen sowohl mit als auch ohne überwachtes Feintuning (SFT)-Daten. Insgesamt stellen wir fest, dass alle Algorithmen vergleichbar abschneiden, wobei Expert Iteration in den meisten Fällen am besten abschneidet. Überraschenderweise ist die Stichprobenkomplexität von Expert Iteration ähnlich der von PPO, wobei höchstens etwa 10^6 Stichproben benötigt werden, um von einem vorab trainierten Ausgangspunkt aus zu konvergieren. Wir untersuchen, warum dies der Fall ist, und kommen zu dem Schluss, dass während des RL-Trainings die Modelle versagen, signifikant über die Lösungen hinaus zu erkunden, die bereits von SFT-Modellen produziert wurden. Darüber hinaus diskutieren wir einen Kompromiss zwischen der Leistung der maj@1- und pass@96-Metriken während des SFT-Trainings und wie umgekehrt das RL-Training beide gleichzeitig verbessert. Abschließend diskutieren wir die Auswirkungen unserer Ergebnisse auf RLHF und die zukünftige Rolle von RL beim Feintuning von LLM.

English

Reinforcement Learning from Human Feedback (RLHF) has emerged as a dominant approach for aligning LLM outputs with human preferences. Inspired by the success of RLHF, we study the performance of multiple algorithms that learn from feedback (Expert Iteration, Proximal Policy Optimization (PPO), Return-Conditioned RL) on improving LLM reasoning capabilities. We investigate both sparse and dense rewards provided to the LLM both heuristically and via a learned reward model. We additionally start from multiple model sizes and initializations both with and without supervised fine-tuning (SFT) data. Overall, we find all algorithms perform comparably, with Expert Iteration performing best in most cases. Surprisingly, we find the sample complexity of Expert Iteration is similar to that of PPO, requiring at most on the order of 10^6 samples to converge from a pretrained checkpoint. We investigate why this is the case, concluding that during RL training models fail to explore significantly beyond solutions already produced by SFT models. Additionally, we discuss a trade off between maj@1 and pass@96 metric performance during SFT training and how conversely RL training improves both simultaneously. We then conclude by discussing the implications of our findings for RLHF and the future role of RL in LLM fine-tuning.

Das Lehren großer Sprachmodelle, um mit Verstärkendem Lernen zu schlussfolgern

Teaching Large Language Models to Reason with Reinforcement Learning

Zusammenfassung

Support