「SkillGate: 長期ホライズンエージェントにおける方策内スキル選択の訓練」

要旨

エージェントフレームワークは、手続き的知識をスキルとしてパッケージ化することが増えている。スキルとは、エージェントが必要に応じて読み込む指示ファイルであり、公開ライブラリには現在何千ものスキルが収められている。どのスキルを読むべきかは、このようにしてエピソードの途中でポリシー自身が下す決定となったが、それを訓練する既存のシグナルは存在しない。我々は、既定の対処法である候補スレートに対する成果報酬RLではこれを学習できないことを示す。その理由は構造的なものであり、我々はそれを特定し、セレクタークレジット飢餓（selector credit starvation）と命名する。ブロードキャストされるシーケンスレベルアドバンテージの下では、選択されたスキルを指定する少数のトークンは損失のうち消失的に小さい割合しか担わず、軌跡が長くなるにつれて、それらが受け継ぐクレジットは誤った符号を持つ度合いが増大する。その選択自体が軌跡の中で最も価値ある決定の一つであるにもかかわらず、選択後の実行が失敗する場合には常に、正しい選択であっても罰せられるのである。完了した実行の訓練アーティファクトを監査すると、これら3つの性質がすべて確認され、それぞれがホライズンとともに単調に悪化する。SkillGateはこの欠陥を構造的に排除する。すなわち、トークンサポートを互いに素な2つのクレジットチャネルに分割し、成果クレジットは実行トークンのみに到達させ、別のアクション局所アドバンテージはスキルを指定するトークンにのみ正確に到達させる。後者は、軌跡内の単一の読み出しが正しい場合にのみ正の値となる。16候補のスレートを用いた5つのエージェントベンチマークにおいて、SkillGateは90億パラメータのポリシーの試行成功率を40.8%から53.2%に引き上げる。これは、同一の予算を成果報酬のみに投入した場合を大きく上回り、誤解を招く候補への露出を3分の2削減し、読むスキル数も削減する。

English

Agent frameworks increasingly package procedural knowledge as skills: instruction files an agent reads on demand, while public libraries now hold thousands of them. Which skill to read has thus become a decision the policy itself makes in the middle of an episode, yet no existing signal trains it. We show that the default remedy, outcome-rewarded RL over the candidate slate, cannot teach it, for a structural reason we identify and name selector credit starvation: under a broadcast, sequence-level advantage, the few tokens that name the chosen skill carry a vanishing share of the loss, and the credit they inherit is increasingly wrong-signed as trajectories lengthen. A correct choice is punished whenever the execution after it fails, even though the choice itself is among the most valuable decisions in the trajectory. Auditing a completed run's own training artifacts confirms all three properties, each worsening monotonically with horizon. SkillGate removes the failure by construction: it partitions the token support into two disjoint credit channels, outcome credit reaching only execution tokens, and a separate action-local advantage reaching exactly the skill-naming tokens, positive only when a trajectory's single read is the correct one. On five agentic benchmarks under a 16-candidate slate, SkillGate lifts a 9B policy from 40.8% to 53.2% trial success, well ahead of the identical budget spent on outcome reward alone, while cutting exposure to misleading candidates by two thirds and reading fewer skills.