Auf dem Weg zu einer einheitlichen Sichtweise auf das Post-Training großer Sprachmodelle

Towards a Unified View of Large Language Model Post-Training

September 4, 2025

papers.authors: Xingtai Lv, Yuxin Zuo, Youbang Sun, Hongyi Liu, Yuntian Wei, Zhekai Chen, Lixuan He, Xuekai Zhu, Kaiyan Zhang, Bingning Wang, Ning Ding, Bowen Zhou

cs.AI

papers.abstract

Es gibt zwei Hauptquellen für Trainingsdaten zur Nachschulung moderner Sprachmodelle: Online-Daten (modellgenerierte Rollouts) und Offline-Daten (Demonstrationen von Menschen oder anderen Modellen). Diese beiden Datentypen werden typischerweise von Ansätzen wie Reinforcement Learning (RL) und Supervised Fine-Tuning (SFT) verwendet. In diesem Artikel zeigen wir, dass diese Ansätze nicht im Widerspruch zueinander stehen, sondern Instanzen eines einzigen Optimierungsprozesses sind. Wir leiten einen Vereinheitlichten Policy-Gradient-Schätzer ab und stellen die Berechnungen eines breiten Spektrums von Nachschulungsansätzen als Gradient eines gemeinsamen Ziels unter verschiedenen Annahmen zur Datenverteilung und verschiedenen Bias-Varianz-Kompromissen dar. Der Gradientenschätzer besteht aus vier austauschbaren Komponenten: Stabilisierungsmaske, Referenzrichtlinien-Nenner, Vorteilsschätzung und Likelihood-Gradient. Motiviert durch unsere theoretischen Erkenntnisse schlagen wir Hybrid Post-Training (HPT) vor, einen Algorithmus, der dynamisch verschiedene Trainingssignale auswählt. HPT ist darauf ausgelegt, sowohl eine effektive Nutzung von Demonstrationen als auch eine stabile Exploration zu ermöglichen, ohne dabei gelernte Denkmuster zu opfern. Wir führen umfangreiche Experimente und Ablationsstudien durch, um die Wirksamkeit unseres vereinheitlichten theoretischen Rahmens und von HPT zu überprüfen. Über sechs mathematische Denkbenchmarks und zwei Out-of-Distribution-Testsuiten hinweg übertrifft HPT durchweg starke Baselines über Modelle verschiedener Größen und Familien hinweg.

English

Two major sources of training data exist for post-training modern language models: online (model-generated rollouts) data, and offline (human or other-model demonstrations) data. These two types of data are typically used by approaches like Reinforcement Learning (RL) and Supervised Fine-Tuning (SFT), respectively. In this paper, we show that these approaches are not in contradiction, but are instances of a single optimization process. We derive a Unified Policy Gradient Estimator, and present the calculations of a wide spectrum of post-training approaches as the gradient of a common objective under different data distribution assumptions and various bias-variance tradeoffs. The gradient estimator is constructed with four interchangeable parts: stabilization mask, reference policy denominator, advantage estimate, and likelihood gradient. Motivated by our theoretical findings, we propose Hybrid Post-Training (HPT), an algorithm that dynamically selects different training signals. HPT is designed to yield both effective exploitation of demonstration and stable exploration without sacrificing learned reasoning patterns. We provide extensive experiments and ablation studies to verify the effectiveness of our unified theoretical framework and HPT. Across six mathematical reasoning benchmarks and two out-of-distribution suites, HPT consistently surpasses strong baselines across models of varying scales and families.