Entropieverhoudingsclippen als een zachte globale beperking voor stabiele reinforcement learning

Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning

December 5, 2025

Auteurs: Zhenpeng Su, Leiyu Pan, Minxuan Lv, Tiehua Mei, Zijia Lin, Yuntao Li, Wenping Hu, Ruiming Tang, Kun Gai, Guorui Zhou

cs.AI

Samenvatting

Grote taalmodellen vertrouwen na de training op reinforcement learning om de modelcapaciteit en aligneringskwaliteit te verbeteren. Het off-policy trainingsparadigma introduceert echter een distributieverschuiving, die het beleid vaak buiten het vertrouwensgebied duwt, wat leidt tot trainingsinstabiliteiten die zich manifesteren als schommelingen in de beleidsentropie en onstabiele gradiënten. Hoewel PPO-Clip dit probleem vermindert door importance clipping, negeert het nog steeds de globale distributieverschuiving van acties. Om deze uitdagingen aan te pakken, stellen we voor om de entropieverhouding tussen het huidige en vorige beleid te gebruiken als een nieuwe globale maatstaf die de relatieve verandering in beleidsexploratie gedurende updates effectief kwantificeert. Op basis van deze maatstaf introduceren we een Entropy Ratio Clipping (ERC)-mechanisme dat bidirectionele beperkingen oplegt aan de entropieverhouding. Dit stabiliseert beleidsupdates op het niveau van de globale distributie en compenseert het onvermogen van PPO-clip om waarschijnlijkheidsverschuivingen van niet-bemonsterde acties te reguleren. We integreren ERC in zowel DAPO- als GPPO-reinforcement learning-algoritmen. Experimenten over meerdere benchmarks tonen aan dat ERC consistent de prestaties verbetert.

English

Large language model post-training relies on reinforcement learning to improve model capability and alignment quality. However, the off-policy training paradigm introduces distribution shift, which often pushes the policy beyond the trust region, leading to training instabilities manifested as fluctuations in policy entropy and unstable gradients. Although PPO-Clip mitigates this issue through importance clipping, it still overlooks the global distributional shift of actions. To address these challenges, we propose using the entropy ratio between the current and previous policies as a new global metric that effectively quantifies the relative change in policy exploration throughout updates. Building on this metric, we introduce an Entropy Ratio Clipping (ERC) mechanism that imposes bidirectional constraints on the entropy ratio. This stabilizes policy updates at the global distribution level and compensates for the inability of PPO-clip to regulate probability shifts of un-sampled actions. We integrate ERC into both DAPO and GPPO reinforcement learning algorithms. Experiments across multiple benchmarks show that ERC consistently improves performance.