상호보완적 강화 학습
Complementary Reinforcement Learning
March 18, 2026
저자: Dilxat Muhtar, Jiashun Liu, Wei Gao, Weixun Wang, Shaopan Xiong, Ju Huang, Siran Yang, Wenbo Su, Jiamang Wang, Ling Pan, Bo Zheng
cs.AI
초록
강화학습(RL)은 LLM 기반 에이전트 훈련을 위한 강력한 패러다임으로 부상했지만, 희소한 결과 피드백뿐만 아니라 에피소드 간 선행 경험을 활용하지 못하는 에이전트의 한계로 인해 샘플 효율성이 낮다는 제약을 지닙니다. 역사적 경험으로 에이전트를 보강하는 것은 유망한 해결책이나, 기존 접근법은 결정적 약점을 가지고 있습니다: 역사에서 추출된 경험은 정적으로 저장되거나 개선되는 행위자와 함께 공진화하지 못하여, 훈련 과정에서 경험과 행위자의 진화하는 능력 간 점진적 불일치가 발생하며 그 유용성이 감소합니다. 신경과학의 상보적 학습 시스템에서 영감을 받아, 우리는 RL 최적화 루프 내에서 경험 추출기와 정책 행위자의 원활한 공진화를 달성하는 상보적 RL(Complementary RL)을 제시합니다. 구체적으로, 행위자는 희소한 결과 기반 보상을 통해 최적화되는 반면, 경험 추출기는 추출된 경험이 행위자의 성공에 실질적으로 기여하는지 여부에 따라 최적화되어, 행위자의 성장하는 능력과 보조를 맞추며 경험 관리 전략을 진화시킵니다. 실험적으로, 상보적 RL은 경험 학습을 하지 않는 결과 기반 에이전트 RL 기준선을 능가하며, 단일 작업 시나리오에서 10%의 성능 향상을 달성하고 다중 작업 설정에서 강력한 확장성을 보입니다. 이러한 결과는 상보적 RL을 효율적인 경험 주도 에이전트 학습의 패러다임으로 정립합니다.
English
Reinforcement Learning (RL) has emerged as a powerful paradigm for training LLM-based agents, yet remains limited by low sample efficiency, stemming not only from sparse outcome feedback but also from the agent's inability to leverage prior experience across episodes. While augmenting agents with historical experience offers a promising remedy, existing approaches suffer from a critical weakness: the experience distilled from history is either stored statically or fail to coevolve with the improving actor, causing a progressive misalignment between the experience and the actor's evolving capability that diminishes its utility over the course of training. Inspired by complementary learning systems in neuroscience, we present Complementary RL to achieve seamless co-evolution of an experience extractor and a policy actor within the RL optimization loop. Specifically, the actor is optimized via sparse outcome-based rewards, while the experience extractor is optimized according to whether its distilled experiences demonstrably contribute to the actor's success, thereby evolving its experience management strategy in lockstep with the actor's growing capabilities. Empirically, Complementary RL outperforms outcome-based agentic RL baselines that do not learn from experience, achieving 10% performance improvement in single-task scenarios and exhibits robust scalability in multi-task settings. These results establish Complementary RL as a paradigm for efficient experience-driven agent learning.