UP: 탐험-안정성 딜레마 극복을 위한 무제한 양의 비대칭 최적화

초록

강화학습(Reinforcement Learning, RL)은 대규모 언어 모델(Large Language Models, LLMs)의 복잡한 추론 능력을 향상시키는 표준 패러다임이 되었다. 샘플 효율성을 달성하기 위해 현대 RL 프레임워크는 중요도 샘플링(Importance Sampling, IS)에 의존한다. 그러나 이러한 알고리즘은 탐험-안정성 딜레마(exploration-stability dilemma)를 겪는다. 순수 IS는 종종 파국적인 훈련 불안정성을 초래하는 반면, 이러한 불안정성을 완화하는 데 사용되는 표준 클리핑 메커니즘은 정책 업데이트 예산을 엄격히 제한한다. 확률 용량(Probability Capacity, Cap) 개념을 정식화함으로써, 우리는 보수적인 클리핑이 정확하지만 낮은 신뢰도를 가진 추론 경로에 대한 업데이트 예산을 조기에 차단하여 구조적으로 탐험을 저해한다는 사실을 밝혀낸다. 이러한 제약에서 벗어나기 위해, 우리는 보편적이고 플러그 앤 플레이 방식의 목적 함수인 무제한 양수 비대칭 최적화(Unbounded Positive Asymmetric Optimization, UP)를 제안한다. UP는 정책을 정지 그래디언트 연산자(stop-gradient operator)를 통해 현재 상태에 고정시킴으로써 최적화 과정을 이론적으로 재구성한다. 이러한 비대칭 설계는 탐험을 극대화하기 위해 양수 이점(positive advantage)에 대해 클리핑되지 않은 안정적인 그래디언트를 제공하는 동시에, 훈련 불안정성을 방지하기 위해 음수 이점(negative advantage)에 대해서는 표준 클리핑 보호 장치를 유지한다. 더 나아가, 우리의 공식은 토큰 수준(GRPO, DAPO) 및 시퀀스 수준(GSPO) 프레임워크를 포함한 다양한 최적화 세분성에 쉽게 확장된다. 광범위한 실험을 통해 UP가 다양한 RL 알고리즘(DAPO, GSPO, GRPO), 모델 아키텍처(Dense, MoE, 시각-언어), 그리고 훈련 방식(언어 및 멀티모달) 전반에 걸쳐 탐험 능력을 향상시키고 우수한 추론 정확도를 달성함을 입증함으로써, UP가 RL 기반 훈련을 위한 진정한 보편적 플러그 앤 플레이 개선 방법임을 검증한다.

English

Reinforcement learning (RL) has become the standard paradigm for enhancing the complex reasoning capabilities of large language models (LLMs). To achieve sample efficiency, modern RL frameworks rely on importance sampling (IS). However, these algorithms suffer from an exploration-stability dilemma. Pure IS often leads to catastrophic training instability, while standard clipping mechanisms used to mitigate this instability strictly constrain the policy update budget. By formalizing the concept of Probability Capacity (Cap), we reveal that conservative clipping structurally stifles exploration by prematurely truncating the update budget for correct but low-confidence reasoning paths. To break free from these constraints, we propose Unbounded Positive Asymmetric Optimization (UP), a universal and plug-and-play objective. UP theoretically restructures the optimization process by anchoring the policy to its current state via the stop-gradient operator. This asymmetric design unleashes unclipped, stable gradients for positive advantages to maximize exploration, while maintaining standard clipping safeguards for negative advantages to prevent training instability. Furthermore, our formulation readily extends across different optimization granularities, including token-level (GRPO, DAPO) and sequence-level (GSPO) frameworks. Extensive experiments demonstrate that UP enhances exploration capacity and achieves superior reasoning accuracy across diverse RL algorithms (DAPO, GSPO, and GRPO), model architectures (Dense, MoE, and vision-language), and training modalities (language and multimodal), validating UP as a truly universal plug-and-play enhancement for RL-based training.