Entropie-Verhältnis-Clipping als weiche globale Nebenbedingung für stabiles Reinforcement Learning
Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning
December 5, 2025
papers.authors: Zhenpeng Su, Leiyu Pan, Minxuan Lv, Tiehua Mei, Zijia Lin, Yuntao Li, Wenping Hu, Ruiming Tang, Kun Gai, Guorui Zhou
cs.AI
papers.abstract
Das Nachtraining großer Sprachmodelle stützt sich auf Bestärkendes Lernen, um die Modellfähigkeiten und Ausrichtungsqualität zu verbessern. Allerdings führt das Off-Policy-Trainingsparadigma zu einer Verteilungsverschiebung, die die Policy häufig über den Vertrauensbereich hinausdrängt und damit Trainingsinstabilitäten verursacht, die sich als Fluktuationen der Policy-Entropie und instabile Gradienten äußern. Obwohl PPO-Clip dieses Problem durch Importance-Clipping abmildert, wird die globale Verteilungsverschiebung von Aktionen dennoch vernachlässigt. Um diese Herausforderungen zu bewältigen, schlagen wir vor, das Entropieverhältnis zwischen aktueller und vorheriger Policy als neue globale Metrik zu verwenden, die die relative Änderung der Policy-Exploration während Updates effektiv quantifiziert. Aufbauend auf dieser Metrik führen wir einen Entropie-Verhältnis-Clipping (ERC)-Mechanismus ein, der bidirektionale Beschränkungen für das Entropieverhältnis vorsieht. Dies stabilisiert Policy-Updates auf globaler Verteilungsebene und kompensiert die Unfähigkeit von PPO-Clip, Wahrscheinlichkeitsverschiebungen ungesampelter Aktionen zu regulieren. Wir integrieren ERC in sowohl DAPO- als auch GPPO-Verstärkungslernalgorithmen. Experimente über mehrere Benchmarks hinweg zeigen, dass ERC die Leistung konsistent verbessert.
English
Large language model post-training relies on reinforcement learning to improve model capability and alignment quality. However, the off-policy training paradigm introduces distribution shift, which often pushes the policy beyond the trust region, leading to training instabilities manifested as fluctuations in policy entropy and unstable gradients. Although PPO-Clip mitigates this issue through importance clipping, it still overlooks the global distributional shift of actions. To address these challenges, we propose using the entropy ratio between the current and previous policies as a new global metric that effectively quantifies the relative change in policy exploration throughout updates. Building on this metric, we introduce an Entropy Ratio Clipping (ERC) mechanism that imposes bidirectional constraints on the entropy ratio. This stabilizes policy updates at the global distribution level and compensates for the inability of PPO-clip to regulate probability shifts of un-sampled actions. We integrate ERC into both DAPO and GPPO reinforcement learning algorithms. Experiments across multiple benchmarks show that ERC consistently improves performance.