SkillHone: Инструментарий для непрерывной эволюции навыков агента на основе персистентной истории решений

Аннотация

Навыки агентов расширяют возможности языковых моделей за счет реализации специфичных для задач процедур, сценариев и справочных материалов, однако решаемые задачи и целевые среды постоянно меняются. Существующие методы совершенствуют навыки в ограниченных прогонах, сохраняя лишь конечный артефакт и отбрасывая историю принятия решений, которая необходима последующим агентам для интерпретации предыдущих правок, оценок и отвергнутых альтернатив. Мы представляем SkillHone — среду для непрерывной эволюции навыков агентов, основанную на постоянном хранении истории решений. SkillHone связывает правки навыков с оценочными свидетельствами, обеспечивающими практическую обратную связь, и записывает структурированные истории диагнозов, правок, свидетельств и результатов. Разделенные по ролям под-агенты запускают кандидатные навыки на практических пробах с редуцированной отчетностью и предлагают правки на основе предыдущих решений, что позволяет выполнять межсессионную доработку без повторного поиска утраченных обоснований. На бенчмарках глубокого исследования SkillHone работает без предварительно интегрированного поискового стека и превосходит коммерчески поддерживаемого агента глубокого исследования на 15,8 пунктов по GAIA и на 3,2 пункта по WebWalkerQA-EN, а также превосходит предыдущие методы эволюции навыков. Мы также развернули SkillHone на внутренних сценариях анализа с применением инструментов, где он повышает точность в среднем на 18,8 пунктов в семи конфигурациях.

English

Agent skills extend language-model agents with task-specific procedures, scripts, and references, but the tasks and environments they target continually change. Existing methods improve skills in bounded runs and retain only the final artifact, discarding the decision history that later agents need to interpret prior revisions, evaluations, and rejected alternatives. We introduce SkillHone, a harness for continual agent skill evolution grounded in persistent decision history. SkillHone pairs skill revisions with evaluation-side evidence that supplies practice feedback, recording structured histories of diagnoses, revisions, evidence, and outcomes. Role-separated subagents run candidate skills on practice probes with redacted reporting and propose revisions informed by prior decisions, enabling cross-session refinement without rediscovering past rationale. On deep-research benchmarks, SkillHone runs without a pre-integrated search stack and outperforms the commercially backed deep-research agent by 15.8 points on GAIA and 3.2 points on WebWalkerQA-EN, while also exceeding prior skill-evolution methods. We further deploy SkillHone on internal tool-mediated analysis scenarios, where it improves accuracy by an average of 18.8 points across seven settings.