SkillCoach: Zelf-evoluerende rubrieken voor het evalueren en verbeteren van agentisch vaardigheidsgebruik

Samenvatting

Vaardigheden worden een herbruikbare operationele laag voor LLM-agenten, waarin SOP's, domeinregels, toolworkflows, scripts en validatieroutines worden gecodeerd. In realistische vaardigheidsrepository's maken overlappende vaardigheden betrouwbaar gebruik daarvan moeilijk. Het succes van de uiteindelijke verificateur is te grof voor zowel evaluatie als training, aangezien een agent door trial and error kan gaan bij het selecteren van afleidende vaardigheden, vereiste stappen overslaat, workflows verkeerd samenstelt of eindcontroles achterwege laat. We introduceren SkillCoach, een zelf-evoluerend rubricframework voor het evalueren en verbeteren van agentisch vaardigheidsgebruik. SkillCoach leidt vaardigheid-gefundeerde procesrubrieken af van echte rollouts en evalueert trajecten langs vier dimensies: vaardigheidsselectie, vaardigheidsopvolging, vaardigheidssamenstelling en vaardigheid-gefundeerde reflectie. Het houdt de externe verificateur als een apart uitkomstsignaal, waardoor proceskwaliteit kan worden onderscheiden van toevallig taaksucces. De geëvolueerde rubrieken dienen verder als processupervisie voor het selecteren van hoogwaardige trainingstrajecten. Experimenten tonen aan dat geëvolueerde rubrieken de evaluatiekwaliteit aanzienlijk verbeteren, fouten blootleggen die verborgen blijven in de uiteindelijke nauwkeurigheid, en sterkere supervisiesignalen bieden dan alleen uitkomst-gebaseerde filtering voor het verbeteren van agentisch vaardigheidsgebruik.

English

Skills are becoming a reusable operational layer for LLM agents, encoding SOPs, domain rules, tool workflows, scripts, and validation routines. In realistic skill repositories, overlapping skills make reliable skill-use difficult. Final verifier success is too coarse for both evaluation and training, since an agent may pass through trial and error while selecting distractor skills, skipping required steps, composing workflows incorrectly or omitting final checks. We introduce SkillCoach, a self-evolving rubric framework for evaluating and enhancing agentic skill-use. SkillCoach derives skill-grounded process rubrics from real rollouts and evaluates trajectories along four dimensions: skill selection, skill following, skill composition, and skill-grounded reflection. It keeps the external verifier as a separate outcome signal, allowing process quality to be distinguished from accidental task success. The evolved rubrics further serve as process supervision for selecting high-quality training trajectories. Experiments show that evolved rubrics substantially improve evaluation quality, expose failures hidden by final accuracy, and provide stronger supervision signals than outcome-only filtering for enhancing agentic skill-use.