SkillGate: 장기 지평 에이전트에서 정책 내 스킬 선택 훈련

초록

에이전트 프레임워크는 점점 더 절차적 지식을 스킬(skill)로 패키징한다. 즉, 에이전트가 필요 시 읽어들이는 명령 파일 형태이며, 현재 공개 라이브러리에는 수천 개의 스킬이 존재한다. 따라서 어떤 스킬을 읽을지 결정하는 것은 정책(policy) 자체가 에피소드 중간에 수행하는 결정이 되었지만, 이를 훈련시키는 기존 신호는 존재하지 않는다. 우리는 기본적인 해결책인 후보 슬레이트(candidate slate)에 대한 결과 보상 강화학습(outcome-rewarded RL)이 이를 학습시킬 수 없음을 보인다. 그 이유는 우리가 식별하고 명명한 구조적 원인, 즉 선택기 크레딧 기아(selector credit starvation) 때문이다. 브로드캐스트(broadcast) 방식의 시퀀스 수준 이점(sequence-level advantage) 하에서는 선택된 스킬을 지칭하는 소수의 토큰이 손실에서 극히 미미한 비중을 차지하며, 궤적이 길어질수록 이들이 물려받는 크레딧은 점점 더 잘못된 부호를 띠게 된다. 선택 자체가 궤적에서 가장 가치 있는 결정 중 하나임에도 불구하고, 선택 이후의 실행이 실패할 때마다 올바른 선택이 처벌된다. 완료된 실행의 자체 훈련 산출물을 감사한 결과 세 가지 특성이 모두 확인되었으며, 각각은 지평선(horizon)이 길어질수록 단조적으로 악화되었다. SkillGate는 구조적으로 이러한 실패를 제거한다. 즉, 토큰 지원 집합(token support)을 두 개의 분리된 크레딧 채널로 분할하여, 결과 크레딧은 실행 토큰에만 도달하게 하고, 별도의 행동 국지적 이점(action-local advantage)은 정확히 스킬 명명 토큰에만 도달하게 한다. 이 이점은 궤적의 단일 읽기가 올바른 경우에만 양수가 된다. 16개 후보 슬레이트 조건에서 다섯 가지 에이전트 벤치마크를 통해, SkillGate는 9B 정책의 시행 성공률을 40.8%에서 53.2%로 끌어올렸으며, 이는 동일한 예산을 결과 보상에만 사용했을 때보다 훨씬 앞선 성과이다. 동시에 오도하는 후보에 대한 노출을 3분의 2로 줄이고 더 적은 수의 스킬을 읽는다.

English

Agent frameworks increasingly package procedural knowledge as skills: instruction files an agent reads on demand, while public libraries now hold thousands of them. Which skill to read has thus become a decision the policy itself makes in the middle of an episode, yet no existing signal trains it. We show that the default remedy, outcome-rewarded RL over the candidate slate, cannot teach it, for a structural reason we identify and name selector credit starvation: under a broadcast, sequence-level advantage, the few tokens that name the chosen skill carry a vanishing share of the loss, and the credit they inherit is increasingly wrong-signed as trajectories lengthen. A correct choice is punished whenever the execution after it fails, even though the choice itself is among the most valuable decisions in the trajectory. Auditing a completed run's own training artifacts confirms all three properties, each worsening monotonically with horizon. SkillGate removes the failure by construction: it partitions the token support into two disjoint credit channels, outcome credit reaching only execution tokens, and a separate action-local advantage reaching exactly the skill-naming tokens, positive only when a trajectory's single read is the correct one. On five agentic benchmarks under a 16-candidate slate, SkillGate lifts a 9B policy from 40.8% to 53.2% trial success, well ahead of the identical budget spent on outcome reward alone, while cutting exposure to misleading candidates by two thirds and reading fewer skills.