SKILL-KD: LLMエージェントのための対比的スキル蒸留

要旨

スキルベースのプロンプティングは、大規模言語モデル（LLM）エージェントを改善するための実用的なメカニズムとなっている。しかし、既存のスキル獲得手法は、スキルを経験の要約、メモリエントリ、または成功したデモンストレーションの直接的な要約として扱うことが多い。このことは、より性能の低い生徒エージェントにとって不整合を生じさせる。生徒がタスク知識や実行戦略を欠いているために失敗した場合、その失敗軌跡には欠落した行動を推測するための十分な証拠が含まれていない可能性があり、一方で教師軌跡は再利用可能な指針として内部化するには暗黙的すぎる可能性がある。我々は、スキルを異なる能力を持つエージェント間の明示的な蒸留媒体として扱う、対照的スキル蒸留フレームワークであるSKILL-KDを提案する。同じタスクに関する生徒の失敗と教師軌跡が与えられると、SKILL-KDはそれらの間の実行可能な差分をテキスト形式のスキルパッチに蒸留し、生徒を再実行してパッチを評価し、生徒がまだ失敗する場合にはパッチを反復的に改良する。反復的な局所更新によるスキルドリフトを防ぐため、SKILL-KDはさらにトレースに紐づけられた編集履歴を維持し、ドリフトを考慮したスキル統合（Drift-Aware Skill Consolidation）を実行して、各パッチが新しいルールを追加すべきか、既存のルールを削除・修正すべきか、またはスキップすべきかを決定する。5つのエージェントベンチマークと2つの生徒設定において、SKILL-KDは固定モデル適応ベースラインと比較して、凍結された生徒エージェントを一貫して改善する。

English

Skill-based prompting has become a practical mechanism for improving large language model (LLM) agents, yet existing skill acquisition methods often treat skills as experience summaries, memory entries, or direct summaries of successful demonstrations. This creates a mismatch for weaker student agents: when a student fails because it lacks task knowledge or operational strategy, its failed trajectory may not contain enough evidence to infer the missing behavior, while the teacher trajectory may be too implicit to be internalized as reusable guidance. We propose SKILL-KD, a contrastive skill distillation framework that treats skills as an explicit distillation medium between agents of different capabilities. Given a student failure and the teacher trajectory on the same task, SKILL-KD distills their actionable discrepancy into a textual skill patch, evaluates the patch by re-running the student, and iteratively refines the patch when the student still fails. To prevent repeated local updates from causing skill drift, SKILL-KD further maintains trace-linked edit histories and performs Drift-Aware Skill Consolidation, deciding whether each patch should add a new rule, delete or modify an existing rule, or be skipped. Across five agent benchmarks and two student settings, SKILL-KD consistently improves frozen student agents over fixed-model adaptation baselines.