SkillCoach: Саморазвивающиеся рубрики для оценки и улучшения использования агентивных навыков

Аннотация

Навыки становятся многоразовым операционным слоем для агентов на основе больших языковых моделей (LLM), кодирующим стандартные операционные процедуры (SOP), доменные правила, рабочие процессы инструментов, скрипты и процедуры валидации. В реалистичных репозиториях навыков перекрывающиеся навыки затрудняют надежное их использование. Успех финального верификатора является слишком грубой мерой как для оценки, так и для обучения, поскольку агент может пройти задачу методом проб и ошибок, выбирая навыки-отвлекатели, пропуская необходимые шаги, неправильно составляя рабочие процессы или опуская финальные проверки. Мы представляем SkillCoach — саморазвивающуюся рубричную структуру для оценки и улучшения использования навыков агентами. SkillCoach извлекает процессуальные рубрики, основанные на навыках, из реальных прогонов и оценивает траектории по четырем измерениям: выбор навыка, следование навыку, композиция навыков и рефлексия, основанная на навыках. Внешний верификатор сохраняется в качестве отдельного сигнала результата, что позволяет отличать качество процесса от случайного успеха задачи. Развитые рубрики далее служат супервизией процесса для отбора высококачественных обучающих траекторий. Эксперименты показывают, что развитые рубрики значительно улучшают качество оценки, выявляют сбои, скрытые за финальной точностью, и обеспечивают более сильные сигналы супервизии, чем фильтрация только по результату, для улучшения использования навыков агентами.

English

Skills are becoming a reusable operational layer for LLM agents, encoding SOPs, domain rules, tool workflows, scripts, and validation routines. In realistic skill repositories, overlapping skills make reliable skill-use difficult. Final verifier success is too coarse for both evaluation and training, since an agent may pass through trial and error while selecting distractor skills, skipping required steps, composing workflows incorrectly or omitting final checks. We introduce SkillCoach, a self-evolving rubric framework for evaluating and enhancing agentic skill-use. SkillCoach derives skill-grounded process rubrics from real rollouts and evaluates trajectories along four dimensions: skill selection, skill following, skill composition, and skill-grounded reflection. It keeps the external verifier as a separate outcome signal, allowing process quality to be distinguished from accidental task success. The evolved rubrics further serve as process supervision for selecting high-quality training trajectories. Experiments show that evolved rubrics substantially improve evaluation quality, expose failures hidden by final accuracy, and provide stronger supervision signals than outcome-only filtering for enhancing agentic skill-use.