Соотношение энтропий как мягкое глобальное ограничение для устойчивого обучения с подкреплением
Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning
December 5, 2025
Авторы: Zhenpeng Su, Leiyu Pan, Minxuan Lv, Tiehua Mei, Zijia Lin, Yuntao Li, Wenping Hu, Ruiming Tang, Kun Gai, Guorui Zhou
cs.AI
Аннотация
Послеобучение больших языковых моделей опирается на обучение с подкреплением для повышения способностей модели и качества согласованности. Однако парадигма обучения с использованием данных вне текущей политики (off-policy) вносит сдвиг распределения, который часто выталкивает политику за пределы доверительной области, приводя к нестабильности обучения, проявляющейся в виде флуктуаций энтропии политики и нестабильных градиентов. Хотя метод PPO-Clip смягчает эту проблему посредством клиппинга важности, он всё же упускает из виду глобальный распределительный сдвиг действий. Для решения этих проблем мы предлагаем использовать отношение энтропии между текущей и предыдущей политиками в качестве новой глобальной метрики, которая эффективно количественно оценивает относительное изменение исследования политики в процессе обновлений. На основе этой метрики мы вводим механизм клиппинга по отношению энтропии (ERC), который накладывает двусторонние ограничения на отношение энтропии. Это стабилизирует обновления политики на глобальном распределительном уровне и компенсирует неспособность PPO-clip регулировать вероятностные сдвиги невыборочных действий. Мы интегрируем ERC в алгоритмы обучения с подкреплением DAPO и GPPO. Эксперименты на нескольких тестовых наборах показывают, что ERC последовательно улучшает производительность.
English
Large language model post-training relies on reinforcement learning to improve model capability and alignment quality. However, the off-policy training paradigm introduces distribution shift, which often pushes the policy beyond the trust region, leading to training instabilities manifested as fluctuations in policy entropy and unstable gradients. Although PPO-Clip mitigates this issue through importance clipping, it still overlooks the global distributional shift of actions. To address these challenges, we propose using the entropy ratio between the current and previous policies as a new global metric that effectively quantifies the relative change in policy exploration throughout updates. Building on this metric, we introduce an Entropy Ratio Clipping (ERC) mechanism that imposes bidirectional constraints on the entropy ratio. This stabilizes policy updates at the global distribution level and compensates for the inability of PPO-clip to regulate probability shifts of un-sampled actions. We integrate ERC into both DAPO and GPPO reinforcement learning algorithms. Experiments across multiple benchmarks show that ERC consistently improves performance.