강화 학습을 통한 점진적 에이전트 스킬 생성

초록

기존의 스킬 생성 방법들은 대부분 서로 다른 증거 소스마다 특별히 설계되어야 하는 휴리스틱 또는 파이프라인 방식 통합에 의존한다. 반면, 학습 기반 접근법은 이기종 소스에 걸쳐 스킬 생성을 모델링하는 더 통일된 방식을 제공한다. 그러나 학습 기반 스킬 생성은 여전히 어려운 과제이다. 스킬은 관련성이나 정확성에 기반한 자연스러운 지도 신호가 부재하며, 그 가치는 대체로 다운스트림 태스크에서 에이전트의 행동을 개선하는지 여부로만 판단될 수 있기 때문이다. 이러한 문제를 해결하기 위해, 우리는 고품질 에이전트 스킬을 점진적으로 생성하는 강화 학습 방법인 Skill-α를 제안한다. 구체적으로, 우리는 스킬 생성을 개별적으로 평가 가능한 편집들로 분해하는 순차적 편집 과정으로 정식화하고, 고정 쿼리에서 원본 스킬과 편집된 스킬을 사용한 다운스트림 실행을 비교하여 각 편집을 평가하는 새로운 롤백 보상을 도입한다. 광범위한 실험을 통해 Skill-α가 문서-스킬 및 경험-스킬 설정 모두에서 휴리스틱이나 파이프라인 기반 방법보다 더 효과적인 스킬을 생성함을 보여준다. 주요 GPT-4o 워커 환경에서 Skill-α는 가장 강력한 스킬 생성 베이스라인 대비 평균 다운스트림 성공률을 CL-Bench에서 3.3포인트, tau2-bench에서 6.7포인트 향상시킨다. 추가 절제 실험은 롤백 보상과 점진적 생성의 중요성을 검증한다.

English

Existing skill generation methods largely rely on heuristics or pipeline-style consolidation, which must be specially designed for different evidence sources. In contrast, learning-based approaches offer a more unified way to model skill generation across heterogeneous sources. However, learning-based skill generation remains challenging because skills lack a natural supervision signal based on relevance or correctness; their value can largely be determined only by whether they improve the behavior of the agent on downstream tasks. To address this challenge, we propose Skill-α, a reinforcement learning method for progressively generating high-quality agent skills. Specifically, we formulate skill generation as a sequential editing process that decomposes skill construction into individually evaluable edits, and introduce a novel rollback reward that evaluates each edit by comparing downstream execution under the original and edited skills on an anchored query. Extensive experiments show that Skill-α generates more effective skills than methods based on heuristics or pipelines in both document-to-skill and experience-to-skill settings. Under the main GPT-4o worker, Skill-α improves average downstream success rates over the strongest skill-generation baseline by 3.3 points on CL-Bench and 6.7 points on tau2-bench. Further ablations validate the importance of rollback reward and progressive generation.