UP: Unbeschränkte positive asymmetrische Optimierung zur Überwindung des Explorations-Stabilitäts-Dilemmas

Zusammenfassung

Bestärkendes Lernen (RL) hat sich zum Standardparadigma zur Verbesserung der komplexen Denkfähigkeiten großer Sprachmodelle (LLMs) entwickelt. Um Stichprobeneffizienz zu erreichen, verlassen sich moderne RL-Frameworks auf Importance Sampling (IS). Allerdings leiden diese Algorithmen unter einem Explorations-Stabilitäts-Dilemma. Reines IS führt oft zu katastrophaler Trainingsinstabilität, während standardmäßige Clipping-Mechanismen, die diese Instabilität abmildern sollen, das Budget für Richtlinienaktualisierungen strikt einschränken. Durch die Formalisierung des Konzepts der Wahrscheinlichkeitskapazität (Cap) zeigen wir, dass konservatives Clipping die Exploration strukturell unterdrückt, indem es das Aktualisierungsbudget für korrekte, aber wenig vertrauenswürdige Denkpfade vorzeitig abschneidet. Um sich von diesen Einschränkungen zu befreien, schlagen wir Unbounded Positive Asymmetric Optimization (UP) vor, ein universelles und Plug-and-Play-fähiges Optimierungsziel. UP strukturiert den Optimierungsprozess theoretisch um, indem es die Richtlinie über den Stop-Gradient-Operator an ihrem aktuellen Zustand verankert. Dieses asymmetrische Design setzt ungeclippte, stabile Gradienten für positive Vorteile frei, um die Exploration zu maximieren, während es gleichzeitig standardmäßige Clipping-Sicherungen für negative Vorteile beibehält, um Trainingsinstabilität zu verhindern. Darüber hinaus lässt sich unsere Formulierung problemlos auf verschiedene Optimierungsgranularitäten erweitern, einschließlich Frameworks auf Token-Ebene (GRPO, DAPO) und Sequenz-Ebene (GSPO). Umfangreiche Experimente zeigen, dass UP die Explorationskapazität verbessert und eine überlegene Denkgenauigkeit bei verschiedenen RL-Algorithmen (DAPO, GSPO und GRPO), Modellarchitekturen (Dense, MoE und Vision-Language) und Trainingsmodalitäten (Sprache und multimodal) erzielt, was UP als eine wirklich universelle Plug-and-Play-Verbesserung für RL-basiertes Training bestätigt.

English

Reinforcement learning (RL) has become the standard paradigm for enhancing the complex reasoning capabilities of large language models (LLMs). To achieve sample efficiency, modern RL frameworks rely on importance sampling (IS). However, these algorithms suffer from an exploration-stability dilemma. Pure IS often leads to catastrophic training instability, while standard clipping mechanisms used to mitigate this instability strictly constrain the policy update budget. By formalizing the concept of Probability Capacity (Cap), we reveal that conservative clipping structurally stifles exploration by prematurely truncating the update budget for correct but low-confidence reasoning paths. To break free from these constraints, we propose Unbounded Positive Asymmetric Optimization (UP), a universal and plug-and-play objective. UP theoretically restructures the optimization process by anchoring the policy to its current state via the stop-gradient operator. This asymmetric design unleashes unclipped, stable gradients for positive advantages to maximize exploration, while maintaining standard clipping safeguards for negative advantages to prevent training instability. Furthermore, our formulation readily extends across different optimization granularities, including token-level (GRPO, DAPO) and sequence-level (GSPO) frameworks. Extensive experiments demonstrate that UP enhances exploration capacity and achieves superior reasoning accuracy across diverse RL algorithms (DAPO, GSPO, and GRPO), model architectures (Dense, MoE, and vision-language), and training modalities (language and multimodal), validating UP as a truly universal plug-and-play enhancement for RL-based training.