DUMP: Automatisierte verteilungsbasierte Lehrplanerstellung für RL-basierte LLM-Nachschulung

DUMP: Automated Distribution-Level Curriculum Learning for RL-based LLM Post-training

April 13, 2025

Autoren: Zhenting Wang, Guofeng Cui, Kun Wan, Wentian Zhao

cs.AI

Zusammenfassung

Jüngste Fortschritte in der nachträglichen Optimierung großer Sprachmodelle (LLMs) durch Reinforcement Learning (RL) haben zu bemerkenswerten Verbesserungen geführt, insbesondere bei der Steigerung ihrer Fähigkeiten zur Bewältigung komplexer Aufgaben. Die meisten bestehenden Methoden behandeln die Trainingsdaten jedoch als einheitliches Ganzes und übersehen dabei, dass das Training moderner LLMs oft eine Mischung von Daten aus verschiedenen Verteilungen umfasst, die sich sowohl in ihrer Herkunft als auch in ihrem Schwierigkeitsgrad unterscheiden. Diese Heterogenität stellt eine zentrale Herausforderung dar: Wie kann das Training über verschiedene Verteilungen hinweg adaptiv geplant werden, um die Lerneffizienz zu optimieren? In diesem Artikel präsentieren wir ein prinzipielles Curriculum-Learning-Framework, das auf dem Konzept der Lernbarkeit auf Verteilungsebene basiert. Unsere zentrale Erkenntnis ist, dass die Größe der Policy-Vorteile widerspiegelt, wie viel ein Modell noch von weiterem Training auf einer bestimmten Verteilung profitieren kann. Auf dieser Grundlage schlagen wir ein Curriculum-Learning-Framework auf Verteilungsebene für die RL-basierte nachträgliche Optimierung von LLMs vor, das das Upper Confidence Bound (UCB)-Prinzip nutzt, um die Sampling-Wahrscheinlichkeiten für verschiedene Verteilungen dynamisch anzupassen. Dieser Ansatz priorisiert Verteilungen mit entweder hohem durchschnittlichem Vorteil (Exploitation) oder geringer Stichprobenanzahl (Exploration), was zu einem adaptiven und theoretisch fundierten Trainingsplan führt. Wir implementieren unser Curriculum-Learning-Framework mit GRPO als zugrunde liegendem RL-Algorithmus und demonstrieren seine Wirksamkeit auf Logik-Datensätzen mit unterschiedlichen Schwierigkeitsgraden und Quellen. Unsere Experimente zeigen, dass unser Framework die Konvergenzgeschwindigkeit und die Endleistung signifikant verbessert, was den Wert von verteilungsbewussten Curriculum-Strategien in der nachträglichen Optimierung von LLMs unterstreicht. Code: https://github.com/ZhentingWang/DUMP.

English

Recent advances in reinforcement learning (RL)-based post-training have led to notable improvements in large language models (LLMs), particularly in enhancing their reasoning capabilities to handle complex tasks. However, most existing methods treat the training data as a unified whole, overlooking the fact that modern LLM training often involves a mixture of data from diverse distributions-varying in both source and difficulty. This heterogeneity introduces a key challenge: how to adaptively schedule training across distributions to optimize learning efficiency. In this paper, we present a principled curriculum learning framework grounded in the notion of distribution-level learnability. Our core insight is that the magnitude of policy advantages reflects how much a model can still benefit from further training on a given distribution. Based on this, we propose a distribution-level curriculum learning framework for RL-based LLM post-training, which leverages the Upper Confidence Bound (UCB) principle to dynamically adjust sampling probabilities for different distrubutions. This approach prioritizes distributions with either high average advantage (exploitation) or low sample count (exploration), yielding an adaptive and theoretically grounded training schedule. We instantiate our curriculum learning framework with GRPO as the underlying RL algorithm and demonstrate its effectiveness on logic reasoning datasets with multiple difficulties and sources. Our experiments show that our framework significantly improves convergence speed and final performance, highlighting the value of distribution-aware curriculum strategies in LLM post-training. Code: https://github.com/ZhentingWang/DUMP.