Entropia de Rácio Cortada como uma Restrição Global Suave para Aprendizagem por Reforço Estável
Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning
December 5, 2025
Autores: Zhenpeng Su, Leiyu Pan, Minxuan Lv, Tiehua Mei, Zijia Lin, Yuntao Li, Wenping Hu, Ruiming Tang, Kun Gai, Guorui Zhou
cs.AI
Resumo
O pós-treinamento de grandes modelos de linguagem baseia-se em aprendizagem por reforço para melhorar a capacidade do modelo e a qualidade do alinhamento. No entanto, o paradigma de treinamento *off-policy* introduz um desvio de distribuição, que frequentemente empurra a política para além da região de confiança, levando a instabilidades de treinamento manifestadas como flutuações na entropia da política e gradientes instáveis. Embora o PPO-Clip mitigue este problema através do recorte de importância, ele ainda ignora o desvio distribucional global das ações. Para enfrentar esses desafios, propomos usar a razão de entropia entre as políticas atual e anterior como uma nova métrica global que quantifica efetivamente a mudança relativa na exploração da política ao longo das atualizações. Com base nesta métrica, introduzimos um mecanismo de Recorte da Razão de Entropia (ERC) que impõe restrições bidirecionais sobre a razão de entropia. Isso estabiliza as atualizações da política ao nível distribucional global e compensa a incapacidade do PPO-clip de regular desvios de probabilidade de ações não amostradas. Integramos o ERC em ambos os algoritmos de aprendizagem por reforço DAPO e GPPO. Experimentos em múltiplos *benchmarks* mostram que o ERC melhora consistentemente o desempenho.
English
Large language model post-training relies on reinforcement learning to improve model capability and alignment quality. However, the off-policy training paradigm introduces distribution shift, which often pushes the policy beyond the trust region, leading to training instabilities manifested as fluctuations in policy entropy and unstable gradients. Although PPO-Clip mitigates this issue through importance clipping, it still overlooks the global distributional shift of actions. To address these challenges, we propose using the entropy ratio between the current and previous policies as a new global metric that effectively quantifies the relative change in policy exploration throughout updates. Building on this metric, we introduce an Entropy Ratio Clipping (ERC) mechanism that imposes bidirectional constraints on the entropy ratio. This stabilizes policy updates at the global distribution level and compensates for the inability of PPO-clip to regulate probability shifts of un-sampled actions. We integrate ERC into both DAPO and GPPO reinforcement learning algorithms. Experiments across multiple benchmarks show that ERC consistently improves performance.