SKILL-KD: LLM 에이전트를 위한 대조적 스킬 증류

초록

스킬 기반 프롬프팅은 대규모 언어 모델(LLM) 에이전트를 개선하기 위한 실용적인 메커니즘으로 자리 잡았지만, 기존 스킬 획득 방법들은 스킬을 경험 요약, 메모리 항목, 또는 성공적인 시연의 직접 요약으로 취급하는 경우가 많다. 이는 더 약한 학생 에이전트에게 불일치를 야기한다. 학생이 작업 지식이나 운영 전략이 부족하여 실패할 때, 그 실패한 궤적은 누락된 행동을 추론하기에 충분한 증거를 포함하지 못할 수 있는 반면, 교사 궤적은 재사용 가능한 지침으로 내재화하기에는 너무 암시적일 수 있다. 우리는 서로 다른 능력을 가진 에이전트 간의 명시적 증류 매체로 스킬을 다루는 대조적 스킬 증류 프레임워크인 SKILL-KD를 제안한다. 동일한 작업에 대한 학생의 실패와 교사 궤적이 주어졌을 때, SKILL-KD는 이들 사이의 실행 가능한 차이를 텍스트 스킬 패치로 증류하고, 학생을 다시 실행하여 패치를 평가하며, 학생이 여전히 실패하면 패치를 반복적으로 개선한다. 반복적인 로컬 업데이트가 스킬 드리프트를 유발하는 것을 방지하기 위해, SKILL-KD는 또한 궤적 연계 편집 이력을 유지하고 드리프트 인지 스킬 통합(Drift-Aware Skill Consolidation)을 수행하여 각 패치가 새 규칙을 추가해야 하는지, 기존 규칙을 삭제하거나 수정해야 하는지, 아니면 건너뛰어야 하는지를 결정한다. 다섯 가지 에이전트 벤치마크와 두 가지 학생 설정에서, SKILL-KD는 고정 모델 적응 베이스라인에 비해 동결된 학생 에이전트를 일관되게 개선한다.

English

Skill-based prompting has become a practical mechanism for improving large language model (LLM) agents, yet existing skill acquisition methods often treat skills as experience summaries, memory entries, or direct summaries of successful demonstrations. This creates a mismatch for weaker student agents: when a student fails because it lacks task knowledge or operational strategy, its failed trajectory may not contain enough evidence to infer the missing behavior, while the teacher trajectory may be too implicit to be internalized as reusable guidance. We propose SKILL-KD, a contrastive skill distillation framework that treats skills as an explicit distillation medium between agents of different capabilities. Given a student failure and the teacher trajectory on the same task, SKILL-KD distills their actionable discrepancy into a textual skill patch, evaluates the patch by re-running the student, and iteratively refines the patch when the student still fails. To prevent repeated local updates from causing skill drift, SKILL-KD further maintains trace-linked edit histories and performs Drift-Aware Skill Consolidation, deciding whether each patch should add a new rule, delete or modify an existing rule, or be skipped. Across five agent benchmarks and two student settings, SKILL-KD consistently improves frozen student agents over fixed-model adaptation baselines.