Verso una Visione Unificata del Post-Addestramento dei Modelli Linguistici su Grande Scala

Towards a Unified View of Large Language Model Post-Training

September 4, 2025

Autori: Xingtai Lv, Yuxin Zuo, Youbang Sun, Hongyi Liu, Yuntian Wei, Zhekai Chen, Lixuan He, Xuekai Zhu, Kaiyan Zhang, Bingning Wang, Ning Ding, Bowen Zhou

cs.AI

Abstract

Esistono due principali fonti di dati di addestramento per il post-training dei moderni modelli linguistici: dati online (rollout generati dal modello) e dati offline (dimostrazioni umane o di altri modelli). Questi due tipi di dati sono tipicamente utilizzati da approcci come il Reinforcement Learning (RL) e il Supervised Fine-Tuning (SFT), rispettivamente. In questo articolo, dimostriamo che questi approcci non sono in contraddizione, ma sono istanze di un singolo processo di ottimizzazione. Deriviamo un Unified Policy Gradient Estimator e presentiamo i calcoli di un ampio spettro di approcci di post-training come il gradiente di un obiettivo comune sotto diverse ipotesi di distribuzione dei dati e vari compromessi bias-varianza. Lo stimatore del gradiente è costruito con quattro parti intercambiabili: maschera di stabilizzazione, denominatore della politica di riferimento, stima del vantaggio e gradiente della verosimiglianza. Motivati dai nostri risultati teorici, proponiamo l'Hybrid Post-Training (HPT), un algoritmo che seleziona dinamicamente diversi segnali di addestramento. L'HPT è progettato per ottenere sia un'efficace sfruttamento delle dimostrazioni che un'esplorazione stabile senza sacrificare i modelli di ragionamento appresi. Forniamo ampi esperimenti e studi di ablazione per verificare l'efficacia del nostro quadro teorico unificato e dell'HPT. Attraverso sei benchmark di ragionamento matematico e due suite out-of-distribution, l'HPT supera costantemente forti baseline su modelli di varie scale e famiglie.

English

Two major sources of training data exist for post-training modern language models: online (model-generated rollouts) data, and offline (human or other-model demonstrations) data. These two types of data are typically used by approaches like Reinforcement Learning (RL) and Supervised Fine-Tuning (SFT), respectively. In this paper, we show that these approaches are not in contradiction, but are instances of a single optimization process. We derive a Unified Policy Gradient Estimator, and present the calculations of a wide spectrum of post-training approaches as the gradient of a common objective under different data distribution assumptions and various bias-variance tradeoffs. The gradient estimator is constructed with four interchangeable parts: stabilization mask, reference policy denominator, advantage estimate, and likelihood gradient. Motivated by our theoretical findings, we propose Hybrid Post-Training (HPT), an algorithm that dynamically selects different training signals. HPT is designed to yield both effective exploitation of demonstration and stable exploration without sacrificing learned reasoning patterns. We provide extensive experiments and ablation studies to verify the effectiveness of our unified theoretical framework and HPT. Across six mathematical reasoning benchmarks and two out-of-distribution suites, HPT consistently surpasses strong baselines across models of varying scales and families.