과거는 지나지 않았다: 기억 강화 동적 보상 형성

초록

대규모 언어 모델의 강화 학습 성공에도 불구하고, 일반적인 실패 모드는 샘플링 다양성 감소로, 정책이 유사한 오류 행동을 반복적으로 생성하는 현상입니다. 기존의 엔트로피 정규화는 현재 정책 하에서 무작위성을 장려하지만, 롤아웃 전반에 걸쳐 반복되는 실패 패턴을 명시적으로 억제하지는 않습니다. 본 연구에서는 과거 행동 신호를 보상 설계에 통합하는 메모리 강화 동적 보상 형성 프레임워크인 MEDS를 제안합니다. 중간 모델 표현을 저장하고 활용함으로써, 우리는 과거 롤아웃의 특징을 포착하고 밀도 기반 클러스터링을 사용하여 빈번하게 재발하는 오류 패턴을 식별합니다. 더 흔한 오류 클러스터에 할당된 롤아웃은 더 큰 패널티를 받아 반복적인 실수를 줄이면서 더 넓은 탐사를 장려합니다. 5개의 데이터셋과 3개의 기본 모델에서 MEDS는 기존 베이스라인 대비 평균 성능을 지속적으로 향상시켜 최대 4.13 pass@1 점수와 4.37 pass@128 점수 향상을 달성했습니다. LLM 기반 주석과 정량적 다양성 메트릭을 활용한 추가 분석은 MEDS가 샘플링 동안 행동 다양성을 증가시킴을 보여줍니다.

English

Despite the success of reinforcement learning for large language models, a common failure mode is reduced sampling diversity, where the policy repeatedly generates similar erroneous behaviors. Classical entropy regularization encourages randomness under the current policy, but does not explicitly discourage recurrent failure patterns across rollouts. We propose MEDS, a Memory-Enhanced Dynamic reward Shaping framework that incorporates historical behavioral signals into reward design. By storing and leveraging intermediate model representations, we capture features of past rollouts and use density-based clustering to identify frequently recurring error patterns. Rollouts assigned to more prevalent error clusters are penalized more heavily, encouraging broader exploration while reducing repeated mistakes. Across five datasets and three base models, MEDS consistently improves average performance over existing baselines, achieving gains of up to 4.13 pass@1 points and 4.37 pass@128 points. Additional analyses using both LLM-based annotations and quantitative diversity metrics show that MEDS increases behavioral diversity during sampling.

과거는 지나지 않았다: 기억 강화 동적 보상 형성

The Past Is Not Past: Memory-Enhanced Dynamic Reward Shaping

초록

Support