Naar een Geïntegreerd Perspectief op Post-Training van Grote Taalmodellen

Towards a Unified View of Large Language Model Post-Training

September 4, 2025

Auteurs: Xingtai Lv, Yuxin Zuo, Youbang Sun, Hongyi Liu, Yuntian Wei, Zhekai Chen, Lixuan He, Xuekai Zhu, Kaiyan Zhang, Bingning Wang, Ning Ding, Bowen Zhou

cs.AI

Samenvatting

Er bestaan twee belangrijke bronnen van trainingsdata voor het na-trainen van moderne taalmodelen: online (model-gegenereerde rollouts) data, en offline (menselijke of andere-model demonstraties) data. Deze twee soorten data worden typisch gebruikt door benaderingen zoals Reinforcement Learning (RL) en Supervised Fine-Tuning (SFT), respectievelijk. In dit artikel tonen we aan dat deze benaderingen niet in tegenspraak zijn, maar instanties zijn van een enkel optimalisatieproces. We leiden een Unified Policy Gradient Estimator af, en presenteren de berekeningen van een breed spectrum van na-trainingsbenaderingen als de gradiënt van een gemeenschappelijk doel onder verschillende dataverdeling-aannames en diverse bias-variantie afwegingen. De gradiëntschatter is opgebouwd uit vier uitwisselbare onderdelen: stabilisatiemasker, referentiebeleid noemer, voordeelschatting, en waarschijnlijkheidsgradiënt. Gemotiveerd door onze theoretische bevindingen, stellen we Hybrid Post-Training (HPT) voor, een algoritme dat dynamisch verschillende trainingssignalen selecteert. HPT is ontworpen om zowel effectieve exploitatie van demonstraties als stabiele exploratie te bieden zonder geleerde redeneerpatronen op te offeren. We bieden uitgebreide experimenten en ablatiestudies om de effectiviteit van ons verenigde theoretische kader en HPT te verifiëren. Over zes wiskundige redeneerbenchmarks en twee out-of-distribution suites, overtreft HPT consistent sterke basislijnen over modellen van verschillende schalen en families.

English

Two major sources of training data exist for post-training modern language models: online (model-generated rollouts) data, and offline (human or other-model demonstrations) data. These two types of data are typically used by approaches like Reinforcement Learning (RL) and Supervised Fine-Tuning (SFT), respectively. In this paper, we show that these approaches are not in contradiction, but are instances of a single optimization process. We derive a Unified Policy Gradient Estimator, and present the calculations of a wide spectrum of post-training approaches as the gradient of a common objective under different data distribution assumptions and various bias-variance tradeoffs. The gradient estimator is constructed with four interchangeable parts: stabilization mask, reference policy denominator, advantage estimate, and likelihood gradient. Motivated by our theoretical findings, we propose Hybrid Post-Training (HPT), an algorithm that dynamically selects different training signals. HPT is designed to yield both effective exploitation of demonstration and stable exploration without sacrificing learned reasoning patterns. We provide extensive experiments and ablation studies to verify the effectiveness of our unified theoretical framework and HPT. Across six mathematical reasoning benchmarks and two out-of-distribution suites, HPT consistently surpasses strong baselines across models of varying scales and families.