그룹 엔트로피 제어 정책 최적화

초록

엔트로피 제어는 대규모 언어 모델(LLM)의 강화 학습(RL)에서 효과적인 도구로 자리 잡았으며, 정렬 과정 중 탐험-활용 균형을 조정하는 데 기여한다. 이러한 RL 패러다임은 종종 이질적인 작업들의 혼합체에 대해 수행되는데, 동일한 정책 하에서도 서로 다른 엔트로피 체계를 유발하여 전역 또는 토큰 수준의 엔트로피 조절만으로는 다양한 탐험 요구를 충족시키기에 부족하다. 이러한 이질성은 GRPO 방식의 정규화된 어드밴티지(advantage)가 엔트로피 의존적 편향을 유발하게 하여, 프롬프트 그룹 간 어드밴티지 신호를 통계적으로 비교 불가능하게 만든다. 이 문제를 해결하기 위해, 우리는 그룹 엔트로피 제어 정책 최적화(GEPO)를 제안한다. 이는 GRPO에 대한 경량 확장으로, 기존 그룹 샘플에서 추정된 그룹 엔트로피를 사용하여 엔트로피 조건부 비대칭 어드밴티지 형성을 수행한다. GEPO는 저엔트로피 그룹의 긍정적 어드밴티지를 약화시켜 과도한 활용을 줄이고, 고엔트로피 그룹의 부정적 어드밴티지를 약화시켜 탐험을 보존하며, 역사적 엔트로피 통계에서 유도된 적응형 임계값을 사용한다. 수학, 물리학, 과학, 코드 생성 및 명령 수행을 포괄하는 13개 벤치마크에서 두 가지 기본 모델에 대한 광범위한 실험 결과, GEPO는 GRPO 및 최신 엔트로피 제어 방법보다 일관되게 우수한 성능을 보였으며, 훈련 전반에 걸쳐 작업별 탐험 수준을 유지하면서 균형 잡힌 교차 작업 개선을 제공함을 입증하였다.

English

Entropy control has become an effective tool in reinforcement learning (RL) of large language models (LLMs), helping balance exploration-exploitation trade-off during alignment process. Such RL paradigm is often conducted on mixtures of heterogeneous tasks, which induce distinct entropy regimes under the same policy, making global or token-level entropy regulation insufficient to corresponding heterogeneous needs of exploration. This heterogeneity further makes GRPO-style normalized advantages induce an entropy-dependent bias, making advantage signals across prompt groups statistically non-comparable. To address this issue, we propose Group Entropy-Controlled Policy Optimization (GEPO), a lightweight extension to GRPO that uses group entropy, estimated from existing grouped samples to perform entropy-conditioned asymmetric advantage shaping. GEPO attenuates positive advantages in low-entropy groups to reduce over-exploitation, and negative advantages in high-entropy groups to preserve exploration, with adaptive thresholds derived from historical entropy statistics. Extensive experiments on two base models across thirteen benchmarks spanning mathematics, physics, science, code generation, and instruction following show that GEPO consistently outperforms GRPO and recent entropy-controlled methods, delivering balanced cross-task improvements while preserving task-specific exploration levels throughout training.