Mid-Training mit selbstgenerierten Daten verbessert das Verstärkungslernen in Sprachmodellen

Zusammenfassung

Die Wirksamkeit von Reinforcement Learning (RL) in großen Sprachmodellen (Large Language Models, LLMs) hängt von der Art und Vielfalt der Daten ab, die vor und während des RL verwendet werden. Insbesondere Reasoning-Probleme lassen sich häufig auf verschiedene Weisen angehen, die auf unterschiedlichen Formen des Schlussfolgerns beruhen, und eine Beschränkung auf nur eine begrenzte Auswahl solcher Ansätze in den Trainingsdaten kann die Effektivität von RL einschränken. Motiviert durch diesen Umstand untersuchen wir die Verwendung diverser selbst generierter Daten während eines Zwischentrainings als Zwischenschritt vor dem RL-Training. Konkret verwenden wir ein Bootstrap-gestütztes Datenerzeugungsframework, das sich an George Polyas Problemlösungsansätzen orientiert, um für jede Frage in den Trainingsdaten mehrere Varianten korrekter Antworten zu generieren, und führen anschließend ein Feintuning durch. Zunächst bieten wir eine theoretische Perspektive darauf, wie ein Zwischentraining mit solchen Daten RL verbessert, und erläutern, wie Policy-Gradient-Updates die Kombination mehrerer Ansätze fördern können. Anschließend zeigen wir empirisch, dass mit unserem Zwischentraining initialisierte RL-Modelle konsistente Verbesserungen bei verschiedenen Benchmarks für mathematisches Reasoning sowie bei anderen OOD-Aufgaben wie Codegenerierung und narrativem Reasoning erzielen. Insgesamt zeigt unsere Untersuchung, dass das Erlernen mehrerer Problemlösungsansätze durch ein Sprachmodell auf Basis selbst generierter Daten das nachfolgende RL unterstützt.

English

The effectiveness of Reinforcement Learning (RL) in Large Language Models (LLMs) depends on the nature and diversity of the data used before and during RL. In particular, reasoning problems can often be approached in multiple ways that rely on different forms of reasoning, and exposure to only a limited range of such approaches in the training data may limit the effectiveness of RL. Motivated by this, we investigate using diverse self-generated data during mid-training as an intermediate step before RL training. Specifically, we adopt a bootstrapped data-generation framework guided by George Polya's problem-solving approaches for generating multiple variants of correct answers for each question in the training data, and then perform fine-tuning. We first provide a theoretical perspective on how mid-training on such data improves RL and explain how policy-gradient updates can incentivize combining multiple approaches. We then empirically demonstrate that RL-trained models initialized with our mid-training data achieve consistent improvements across various mathematical reasoning benchmarks and other OOD tasks like code generation and narrative reasoning. Overall, our investigative study shows that a language model learning multiple problem-solving approaches, through self-generated data helps subsequent RL.