Em Direção a uma Visão Unificada do Pós-Treinamento de Modelos de Linguagem de Grande Escala

Towards a Unified View of Large Language Model Post-Training

September 4, 2025

Autores: Xingtai Lv, Yuxin Zuo, Youbang Sun, Hongyi Liu, Yuntian Wei, Zhekai Chen, Lixuan He, Xuekai Zhu, Kaiyan Zhang, Bingning Wang, Ning Ding, Bowen Zhou

cs.AI

Resumo

Existem duas principais fontes de dados de treinamento para o pós-treinamento de modelos de linguagem modernos: dados online (rollouts gerados pelo modelo) e dados offline (demonstrações humanas ou de outros modelos). Esses dois tipos de dados são tipicamente utilizados por abordagens como Aprendizado por Reforço (RL) e Ajuste Fino Supervisionado (SFT), respectivamente. Neste artigo, mostramos que essas abordagens não são contraditórias, mas sim instâncias de um único processo de otimização. Derivamos um Estimador Unificado de Gradiente de Política e apresentamos os cálculos de uma ampla gama de abordagens de pós-treinamento como o gradiente de um objetivo comum sob diferentes suposições de distribuição de dados e vários tradeoffs de viés-variância. O estimador de gradiente é construído com quatro partes intercambiáveis: máscara de estabilização, denominador de política de referência, estimativa de vantagem e gradiente de verossimilhança. Motivados por nossas descobertas teóricas, propomos o Pós-Treinamento Híbrido (HPT), um algoritmo que seleciona dinamicamente diferentes sinais de treinamento. O HPT foi projetado para proporcionar tanto a exploração eficaz de demonstrações quanto a exploração estável, sem sacrificar os padrões de raciocínio aprendidos. Fornecemos experimentos extensivos e estudos de ablação para verificar a eficácia de nossa estrutura teórica unificada e do HPT. Em seis benchmarks de raciocínio matemático e dois conjuntos de dados fora da distribuição, o HPT supera consistentemente baselines robustos em modelos de diversas escalas e famílias.

English

Two major sources of training data exist for post-training modern language models: online (model-generated rollouts) data, and offline (human or other-model demonstrations) data. These two types of data are typically used by approaches like Reinforcement Learning (RL) and Supervised Fine-Tuning (SFT), respectively. In this paper, we show that these approaches are not in contradiction, but are instances of a single optimization process. We derive a Unified Policy Gradient Estimator, and present the calculations of a wide spectrum of post-training approaches as the gradient of a common objective under different data distribution assumptions and various bias-variance tradeoffs. The gradient estimator is constructed with four interchangeable parts: stabilization mask, reference policy denominator, advantage estimate, and likelihood gradient. Motivated by our theoretical findings, we propose Hybrid Post-Training (HPT), an algorithm that dynamically selects different training signals. HPT is designed to yield both effective exploitation of demonstration and stable exploration without sacrificing learned reasoning patterns. We provide extensive experiments and ablation studies to verify the effectiveness of our unified theoretical framework and HPT. Across six mathematical reasoning benchmarks and two out-of-distribution suites, HPT consistently surpasses strong baselines across models of varying scales and families.