MHPO: Moduliertes gefahrenbewusstes Policy-Optimierungsverfahren für stabiles Reinforcement Learning

MHPO: Modulated Hazard-aware Policy Optimization for Stable Reinforcement Learning

March 14, 2026

Autoren: Hongjun Wang, Wei Liu, Weibo Gu, Xing Sun, Kai Han

cs.AI

Zusammenfassung

Die Regulierung des Importance Ratios ist entscheidend für die Trainingsstabilität von Group Relative Policy Optimization (GRPO) basierten Frameworks. Bisherige Regulierungsmethoden wie Hard Clipping leiden jedoch unter nicht-differenzierbaren Grenzen und Bereichen mit verschwindenden Gradienten, was die Gradiententreue beeinträchtigt. Darüber hinaus fehlt diesen Methoden ein hazard-sensibler Mechanismus, um extreme Abweichungen adaptiv zu unterdrücken, was den Optimierungsprozess anfällig für abrupte Policy-Verschiebungen macht. Zur Lösung dieser Probleme schlagen wir Modulated Hazard-aware Policy Optimization (MHPO) vor, ein neuartiges Framework für robustes und stabiles Reinforcement Learning. Das vorgeschlagene MHPO führt einen Log-Fidelity-Modulator (LFM) ein, der unbeschränkte Importance Ratios in einen beschränkten, differenzierbaren Bereich abbildet. Dieser Mechanismus verhindert wirksam, dass Ausreißer-Tokens mit hoher Varianz die Loss-Landschaft destabilisieren, und gewährleistet gleichzeitig globale Gradientenstabilität. Ergänzend integriert eine Entkoppelte Hazard-Strafe (DHP) kumulative Hazard-Funktionen aus der Überlebenszeitanalyse, um positive und negative Policy-Verschiebungen unabhängig zu regulieren. Durch die Gestaltung der Optimierungslandschaft mit hazard-sensiblen Strafen erreicht MHPO eine feinabgestimmte Regulierung asymmetrischer Policy-Verschiebungen, mildert gleichzeitig Mode Collapse durch Überexpansion und verhindert Policy-Erosion durch katastrophale Kontraktion innerhalb einer stabilisierten Trust Region. Umfangreiche Auswertungen auf diversen Reasoning-Benchmarks für textbasierte und visuell-sprachliche Aufgaben zeigen, dass MHPO bestehende Methoden konsistent übertrifft, eine überlegene Leistung erzielt und gleichzeitig die Trainingsstabilität erheblich verbessert.

English

Regulating the importance ratio is critical for the training stability of Group Relative Policy Optimization (GRPO) based frameworks. However, prevailing ratio control methods, such as hard clipping, suffer from non-differentiable boundaries and vanishing gradient regions, failing to maintain gradient fidelity. Furthermore, these methods lack a hazard-aware mechanism to adaptively suppress extreme deviations, leaving the optimization process vulnerable to abrupt policy shifts. To address these challenges, we propose Modulated Hazard-aware Policy Optimization (MHPO), a novel framework designed for robust and stable reinforcement learning. The proposed MHPO introduces a Log-Fidelity Modulator (LFM) to map unbounded importance ratios into a bounded, differentiable domain. This mechanism effectively prevents high-variance outlier tokens from destabilizing the loss landscape while ensuring global gradient stability. Complementarily, a Decoupled Hazard Penalty (DHP) integrates cumulative hazard functions from survival analysis to independently regulate positive and negative policy shifts. By shaping the optimization landscape with hazard-aware penalties, the proposed MHPO achieves fine-grained regulation of asymmetric policy shifts simultaneously mitigating mode collapse from over-expansion and preventing policy erosion from catastrophic contraction within a stabilized trust region. Extensive evaluations on diverse reasoning benchmarks across both text-based and vision-language tasks demonstrate that MHPO consistently outperforms existing methods, achieving superior performance while significantly enhancing training stability.