Entropy Ratio Clipping come Vincolo Globale Soft per l'Apprendimento per Rinforzo Stabile
Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning
December 5, 2025
Autori: Zhenpeng Su, Leiyu Pan, Minxuan Lv, Tiehua Mei, Zijia Lin, Yuntao Li, Wenping Hu, Ruiming Tang, Kun Gai, Guorui Zhou
cs.AI
Abstract
L'addestramento post-allenamento dei grandi modelli linguistici si basa sull'apprendimento per rinforzo per migliorare le capacità del modello e la qualità dell'allineamento. Tuttavia, il paradigma di addestramento off-policy introduce uno spostamento della distribuzione, che spesso spinge la politica al di fuori della regione di fiducia, portando a instabilità nell'addestramento manifestate come fluttuazioni nell'entropia della politica e gradienti instabili. Sebbene PPO-Clip mitighi questo problema attraverso il clipping dell'importanza, esso trascura comunque lo spostamento distributivo globale delle azioni. Per affrontare queste sfide, proponiamo di utilizzare il rapporto di entropia tra le politiche corrente e precedente come nuova metrica globale che quantifica efficacemente il cambiamento relativo nell'esplorazione della politica durante gli aggiornamenti. Basandoci su questa metrica, introduciamo un meccanismo di Clipping del Rapporto di Entropia (ERC) che impone vincoli bidirezionali sul rapporto di entropia. Ciò stabilizza gli aggiornamenti della politica a livello di distribuzione globale e compensa l'incapacità di PPO-clip di regolare gli spostamenti di probabilità delle azioni non campionate. Integriamo l'ERC sia negli algoritmi di apprendimento per rinforzo DAPO che GPPO. Esperimenti su molteplici benchmark dimostrano che l'ERC migliora costantemente le prestazioni.
English
Large language model post-training relies on reinforcement learning to improve model capability and alignment quality. However, the off-policy training paradigm introduces distribution shift, which often pushes the policy beyond the trust region, leading to training instabilities manifested as fluctuations in policy entropy and unstable gradients. Although PPO-Clip mitigates this issue through importance clipping, it still overlooks the global distributional shift of actions. To address these challenges, we propose using the entropy ratio between the current and previous policies as a new global metric that effectively quantifies the relative change in policy exploration throughout updates. Building on this metric, we introduce an Entropy Ratio Clipping (ERC) mechanism that imposes bidirectional constraints on the entropy ratio. This stabilizes policy updates at the global distribution level and compensates for the inability of PPO-clip to regulate probability shifts of un-sampled actions. We integrate ERC into both DAPO and GPPO reinforcement learning algorithms. Experiments across multiple benchmarks show that ERC consistently improves performance.