MHPO: Модулированная оптимизация политики с учетом рисков для стабильного обучения с подкреплением

MHPO: Modulated Hazard-aware Policy Optimization for Stable Reinforcement Learning

March 14, 2026

Авторы: Hongjun Wang, Wei Liu, Weibo Gu, Xing Sun, Kai Han

cs.AI

Аннотация

Регулирование коэффициента важности является критически важным для устойчивости обучения в рамках подходов, основанных на Group Relative Policy Optimization (GRPO). Однако преобладающие методы контроля коэффициента, такие как жесткое ограничение, страдают от недифференцируемых границ и областей исчезающего градиента, не обеспечивая сохранения его точности. Более того, этим методам не хватает механизма, учитывающего риск, для адаптивного подавления экстремальных отклонений, что делает процесс оптимизации уязвимым к резким изменениям политики. Для решения этих проблем мы предлагаем Modulated Hazard-aware Policy Optimization (MHPO) — новую архитектуру, разработанную для robustного и стабильного обучения с подкреплением. Предлагаемый MHPO вводит Log-Fidelity Modulator (LFM) для отображения неограниченных коэффициентов важности в ограниченную, дифференцируемую область. Этот механизм эффективно предотвращает дестабилизацию ландшафта функции потерь из-за токенов-выбросов с высокой дисперсией, одновременно обеспечивая глобальную стабильность градиента. Дополнительно, Decoupled Hazard Penalty (DHP) интегрирует кумулятивные функции риска из анализа выживаемости для независимого регулирования позитивных и негативных сдвигов политики. Формируя ландшафт оптимизации с помощью штрафов, учитывающих риск, предлагаемый MHPO достигает детального регулирования асимметричных сдвигов политики, одновременно смягчая коллапс мод из-за чрезмерного расширения и предотвращая деградацию политики из-за катастрофического сжатия в пределах стабилизированной области доверия. Обширные оценки на разнообразных бенчмарках для задач рассуждений, включая текстовые и визуально-языковые задачи, демонстрируют, что MHPO последовательно превосходит существующие методы, достигая превосходной производительности при значительном повышении устойчивости обучения.

English

Regulating the importance ratio is critical for the training stability of Group Relative Policy Optimization (GRPO) based frameworks. However, prevailing ratio control methods, such as hard clipping, suffer from non-differentiable boundaries and vanishing gradient regions, failing to maintain gradient fidelity. Furthermore, these methods lack a hazard-aware mechanism to adaptively suppress extreme deviations, leaving the optimization process vulnerable to abrupt policy shifts. To address these challenges, we propose Modulated Hazard-aware Policy Optimization (MHPO), a novel framework designed for robust and stable reinforcement learning. The proposed MHPO introduces a Log-Fidelity Modulator (LFM) to map unbounded importance ratios into a bounded, differentiable domain. This mechanism effectively prevents high-variance outlier tokens from destabilizing the loss landscape while ensuring global gradient stability. Complementarily, a Decoupled Hazard Penalty (DHP) integrates cumulative hazard functions from survival analysis to independently regulate positive and negative policy shifts. By shaping the optimization landscape with hazard-aware penalties, the proposed MHPO achieves fine-grained regulation of asymmetric policy shifts simultaneously mitigating mode collapse from over-expansion and preventing policy erosion from catastrophic contraction within a stabilized trust region. Extensive evaluations on diverse reasoning benchmarks across both text-based and vision-language tasks demonstrate that MHPO consistently outperforms existing methods, achieving superior performance while significantly enhancing training stability.