SEED: 에이전트 강화 학습을 위한 자체 진화 온-정책 증류

초록

대규모 언어 모델은 점차 다중 대화, 도구 사용 및 환경 피드백을 포함하는 장기적 과제를 위한 상호작용형 에이전트로 학습되고 있다. 결과 기반 강화 학습(Outcome-based Reinforcement Learning, RL)은 실용적인 최적화 패러다임을 제공하지만, 희소한 궤적 수준의 보상은 중간 결정에 대한 제한적인 지침만을 제공하여 에피소드 수준의 결과와 토큰 수준의 정책 학습 사이에 감독 간극이 발생한다. 본 연구에서는 SEED(Self-Evolving On-Policy Distillation)를 제안한다. 이는 완료된 온-폴리시 궤적을 학습 시점의 회고 스킬로 변환하고, 그 행동 효과를 정책 모델에 다시 증류하는 자기 진화형 프레임워크이다. SEED는 먼저 정책을 미세 조정하여 완료된 궤적을 분석하고, 재사용 가능한 워크플로우, 결정적 관찰 또는 실패 회피 규칙을 포착하는 자연어 스킬을 생성한다. RL 과정에서 현재 정책은 궤적을 수집함과 동시에 이들로부터 회고 스킬을 추출하는 분석기 역할을 수행한다. 따라서 정책 업데이트는 이후의 의사 결정과 스킬 분석을 함께 개선하여, 회고 감독이 정책과 함께 진화할 수 있게 한다. 그런 다음 SEED는 일반 맥락과 스킬 강화 맥락에서 샘플링된 행동을 재점수화하여, 스킬에 의한 확률 변화를 조밀한 토큰 수준의 온-폴리시 증류 신호로 변환한다. 이 신호는 결과 기반 RL과 함께 최적화되어, 보조 감독이 현재 궤적 분포와 정렬되도록 유지한다. 텍스트 기반 및 시각 기반 에이전트 과제에 대한 광범위한 실험은 SEED가 성능과 샘플 효율성을 일관되게 향상시키며, 보지 못한 시나리오에 대한 강건한 일반화를 보여준다. 코드는 https://github.com/jinyangwu/SEED에서 확인할 수 있다.

English

Large language models are increasingly trained as interactive agents for long-horizon tasks involving multi-turn interaction, tool use, and environment feedback. Outcome-based reinforcement learning (RL) provides a practical optimization paradigm, but its sparse trajectory-level rewards offer limited guidance on intermediate decisions, leaving a supervision gap between episode-level outcomes and token-level policy learning. We propose SEED (SElf-Evolving On-Policy Distillation), a self-evolving framework that converts completed on-policy trajectories into training-time hindsight skills and distills their behavioral effect back into the policy model. SEED first fine-tunes the policy to analyze completed trajectories and generate natural-language skills that capture reusable workflows, decisive observations, or failure-avoidance rules. During RL, the current policy both collects trajectories and serves as the analyzer that extracts hindsight skills from them. Policy updates therefore improve subsequent decision making and skill analysis together, allowing hindsight supervision to evolve with the policy. SEED then re-scores the sampled actions under ordinary and skill-augmented contexts, converting the skill-induced probability shift into a dense token-level on-policy distillation signal. This signal is jointly optimized with outcome-based RL, keeping the auxiliary supervision aligned with the current trajectory distribution. Extensive experiments on text-based and vision-based agentic tasks show that SEED consistently improves performance and sample efficiency, exhibiting robust generalization to unseen scenarios. Our code is available at https://github.com/jinyangwu/SEED.

SEED: 에이전트 강화 학습을 위한 자체 진화 온-정책 증류

SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning

초록

Support