SkillHone: 지속적 결정 이력을 통한 에이전트 스킬의 지속적 진화를 위한 프레임워크

초록

에이전트 스킬은 언어 모델 에이전트에 작업별 절차, 스크립트, 참조를 추가하지만, 이들이 대상으로 하는 작업과 환경은 계속 변화한다. 기존 방법은 제한된 실행 내에서 스킬을 개선하고 최종 결과물만 유지하며, 이후 에이전트가 이전 수정, 평가, 거부된 대안을 해석하는 데 필요한 결정 기록을 폐기한다. 우리는 지속적인 결정 기록에 기반한 에이전트 스킬의 지속적 진화를 위한 하네스인 SkillHone을 소개한다. SkillHone은 스킬 수정과 연습 피드백을 제공하는 평가 측 증거를 짝지어, 진단, 수정, 증거, 결과의 구조화된 기록을 저장한다. 역할이 분리된 하위 에이전트는 수정된 보고와 함께 연습 프로브에서 후보 스킬을 실행하고, 이전 결정에 기반한 수정을 제안하여 과거 근거를 재발견하지 않고도 세션 간 개선을 가능하게 한다. 심층 연구 벤치마크에서 SkillHone은 사전 통합 검색 스택 없이 실행되며, GAIA에서 15.8점, WebWalkerQA-EN에서 3.2점 더 높은 성능을 보여 상업적으로 지원되는 심층 연구 에이전트를 능가하고, 이전 스킬 진화 방법도 초과한다. 또한 SkillHone을 내부 도구 기반 분석 시나리오에 배포하여 일곱 가지 설정에서 평균 18.8점의 정확도 향상을 달성한다.

English

Agent skills extend language-model agents with task-specific procedures, scripts, and references, but the tasks and environments they target continually change. Existing methods improve skills in bounded runs and retain only the final artifact, discarding the decision history that later agents need to interpret prior revisions, evaluations, and rejected alternatives. We introduce SkillHone, a harness for continual agent skill evolution grounded in persistent decision history. SkillHone pairs skill revisions with evaluation-side evidence that supplies practice feedback, recording structured histories of diagnoses, revisions, evidence, and outcomes. Role-separated subagents run candidate skills on practice probes with redacted reporting and propose revisions informed by prior decisions, enabling cross-session refinement without rediscovering past rationale. On deep-research benchmarks, SkillHone runs without a pre-integrated search stack and outperforms the commercially backed deep-research agent by 15.8 points on GAIA and 3.2 points on WebWalkerQA-EN, while also exceeding prior skill-evolution methods. We further deploy SkillHone on internal tool-mediated analysis scenarios, where it improves accuracy by an average of 18.8 points across seven settings.