エージェントスキルの解明：なぜ機能するのか、そして機能しなくなるのか

要旨

スキルは、構造化された知識パッケージを通じて推論時にLLMエージェントを強化する実用的かつ効果的なアプローチとして登場してきた。しかし、既存の評価は主にスキルがタスク全体の成功率を向上させるかを測定しており、より根本的な問いは未解明のままである：**スキルはいつ役立つのか、なぜ機能するのか、どこで失敗するのか？** 多様なベンチマーク、エージェントハーネス、LLMにわたる制御実験を通じて、我々はスキルの表現、成果アノテーション、検索の難易度、フレームワーク間ロバスト性の影響を分離する。この問いにさらに答えるため、制御された定量的実験とペア軌跡分析を組み合わせた対照研究を設計する。制御実験の8,135件の試行記録を正規化し、240件のオープンコード化記録から238件の有効な一意ラベルを保持する。これらの観察を、3つの高位カテゴリーと12のスキル使用モードからなる分類法に統合する。スキルは、ノイズの多い軌跡が実行を安定化させる手続き的アンカーとなるときに有効である。スキルはマッチング比較においてワークフローメモリを6.06ポイント上回る。手続き的アンカリングはスキル事例の65.7%を占め、明示的知識注入の4.5%と対照的であり、スキルが欠落した事実を注入するのではなく行動を安定化させることを示している。検索は独立したボトルネックである：プールが5から100に拡大すると、実使用精度は29.6%から3.3%に低下する。紛らわしいディストラクタはオフライン識別を損なうが、下流の成功率は安定したままである。正確な正解呼び出しは十分条件でも必要条件でもない。スキルは、脆い前提、非互換な文脈、または不十分な適応のもとで失敗する。これらの発見は、評価を総合的な成功率の域を超えて拡張し、信頼性の高い自己進化エージェントを導くものである。

English

Skills have emerged as a practical and effective approach for enhancing LLM agents at inference time through structured packages of knowledge. However, existing evaluations largely measure whether skills improve aggregated task success, leaving a more fundamental question underexplored: \textbf{When do skills help, why do they work, and where do they fail?} Through controlled experiments across various benchmarks, agent harnesses and LLMs, we isolate the effects of representation, outcome annotation, retrieval difficulty, and cross-framework robustness of skills. To further answer this question, we design a contrastive study that combines controlled quantitative experiments with paired trajectory analysis. We normalize 8,135 trial records from controlled experiments and retain 238 valid unique labels from 240 open-coded records. We consolidate these observations into a taxonomy of three high-level categories and twelve skill-use modes: skills work when noisy trajectories become procedural anchors that stabilize execution. Skills improve over Workflow Memory by 6.06 points in matched comparisons. Procedural anchoring accounts for 65.7\% of skill cases, versus 4.5\% for explicit knowledge injection, showing that skills stabilize action rather than inject missing facts. Retrieval is a separate bottleneck: as pools grow from 5 to 100, actual-use precision falls from 29.6\% to 3.3\%. Confusable distractors impair offline identification, yet downstream success remains stable; exact ground-truth invocation is neither sufficient nor necessary. Skills fail under brittle assumptions, incompatible contexts, or insufficient adaptation. These findings move evaluation beyond aggregate success rates and guide reliable self-evolving agents.