SkillCoach: エージェント的スキル使用の評価と強化のための自己進化型ルーブリック

要旨

スキルは、LLMエージェントの再利用可能な運用層として標準業務手順（SOP）、ドメインルール、ツールワークフロー、スクリプト、検証ルーチンを符号化するものになりつつある。現実的なスキルレポジトリにおいて、重複するスキルが存在するため、信頼性の高いスキル利用は困難となる。最終検証器による成功判定は、評価と訓練の両方において粗すぎる。なぜなら、エージェントが試行錯誤を経てディストラクター（注意散漫要因）スキルを選択し、必要なステップを省略し、ワークフローを誤って構成したり、最終確認を怠ったりする可能性があるからである。本研究では、エージェントのスキル利用を評価・向上させるための自己進化型ルーブリックフレームワークであるSkillCoachを提案する。SkillCoachは、実際のロールアウトからスキルに基づくプロセスルーブリックを導出し、軌跡をスキル選択、スキル追従、スキル構成、スキルに基づく振り返りの4次元に沿って評価する。外部検証器は独立した成果信号として維持し、プロセス品質を偶発的なタスク成功と区別可能にする。進化したルーブリックはさらに、高品質な訓練軌跡を選択するためのプロセス監視として機能する。実験により、進化したルーブリックは評価品質を大幅に向上させ、最終的正解率では隠された失敗を顕在化し、アウトカムのみのフィルタリングよりも強力な監視信号を提供してエージェントのスキル利用を向上させることが示された。

English

Skills are becoming a reusable operational layer for LLM agents, encoding SOPs, domain rules, tool workflows, scripts, and validation routines. In realistic skill repositories, overlapping skills make reliable skill-use difficult. Final verifier success is too coarse for both evaluation and training, since an agent may pass through trial and error while selecting distractor skills, skipping required steps, composing workflows incorrectly or omitting final checks. We introduce SkillCoach, a self-evolving rubric framework for evaluating and enhancing agentic skill-use. SkillCoach derives skill-grounded process rubrics from real rollouts and evaluates trajectories along four dimensions: skill selection, skill following, skill composition, and skill-grounded reflection. It keeps the external verifier as a separate outcome signal, allowing process quality to be distinguished from accidental task success. The evolved rubrics further serve as process supervision for selecting high-quality training trajectories. Experiments show that evolved rubrics substantially improve evaluation quality, expose failures hidden by final accuracy, and provide stronger supervision signals than outcome-only filtering for enhancing agentic skill-use.