SkillRise: 작업 간 기술 진화를 위한 에이전트 기반 강화 학습

초록

대규모 언어 모델 에이전트는 재사용 가능한 솔루션 패턴을 공유하는 관련되면서도 구별되는 작업을 자주 마주한다. 그러나 표준 에이전트 강화 학습은 작업을 독립적인 에피소드로 처리하는 반면, 기존의 기술 학습 접근법은 하나의 작업에 대한 반복 시도에 집중하거나 추출, 검색 및 실행이 얽힌 다단계 파이프라인을 사용한다. 본 논문에서는 작업 간 기술 학습을 위한 통합 강화 학습 프레임워크인 SkillRise를 소개한다. SkillRise는 관련 인스턴스를 점진적으로 난이도가 증가하는 시퀀스로 구성하고, 단일 정책을 사용하여 작업 해결과 다음 작업으로 직접 전달되는 진화하는 기술 문서의 큐레이션을 번갈아 수행한다. 작업 간 분리된 신용 할당은 현재 작업 결과로 해결을, 할인된 하류 결과로 큐레이션을 감독한다. ALFWorld, WebShop, ScienceWorld에서의 실험 결과, SkillRise는 비교 방법 중 가장 강력한 Pass@1 성능을 달성했으며, 가장 강력한 기준선 대비 2.3~8.5퍼센트 포인트의 이득을 보였다. 서로 다른 작업에 걸쳐 학습되었음에도 불구하고, 학습된 큐레이션 정책은 동일한 작업에 대한 반복 시도에서도 효과적으로 유지되었다. 추가 분석 결과, 각 작업이 한 번만 시도되더라도 관련 작업의 긴 시퀀스에서 성능이 향상되는 테스트 시간 스케일링이 작업 간에 나타났다. 이러한 경향은 SkillRise가 동일한 작업의 반복 샘플링에서 이점을 얻기보다는 작업 간 전이 가능한 기술을 재사용함을 시사한다. SkillRise는 또한 다단계 기술 학습 파이프라인의 런타임 오버헤드를 크게 줄이면서 강력한 성능을 유지한다. 종합적으로, 이러한 결과는 LLM 에이전트가 작업 간에 전이 가능한 기술을 추출, 정제 및 재사용할 수 있는 간단하고 효율적인 훈련 패러다임을 제공한다.

English

Large language model agents often encounter related yet distinct tasks that share reusable solution patterns. Yet standard agentic reinforcement learning treats tasks as independent episodes, while existing approaches to skill learning either focus on repeated attempts of one task or use pipelines with multiple stages that entangle extraction, retrieval, and execution. We introduce SkillRise, a unified reinforcement learning framework for learning skills across tasks. SkillRise organizes related instances into progressively challenging sequences and uses a single policy to alternate between task solving and curating an evolving skill document passed directly to the next task. Decoupled credit assignment across tasks supervises solving with the current task outcome and curation with discounted downstream outcomes. Experiments on ALFWorld, WebShop, and ScienceWorld show that SkillRise achieves the strongest Pass@1 performance among the compared methods, with gains over the strongest baseline ranging from 2.3 to 8.5 percentage points. Although trained across distinct tasks, its learned curation policy remains effective for repeated attempts on the same task. Further analysis reveals scaling at test time across tasks: performance improves with longer sequences of related tasks even when each task is attempted only once. This trend suggests that SkillRise reuses transferable skills across tasks rather than benefiting from repeated sampling of the same task. SkillRise further retains strong performance while substantially reducing the runtime overhead of skill learning pipelines with multiple stages. Together, these results provide a simple and efficient training paradigm for LLM agents to extract, refine, and reuse transferable skills across tasks.