SkillCoach : Grilles d'évaluation auto-évolutives pour évaluer et améliorer l'utilisation des compétences agentiques

Résumé

Les compétences deviennent une couche opérationnelle réutilisable pour les agents LLM, encodant des procédures opérationnelles standard (SOP), des règles de domaine, des workflows d'outils, des scripts et des routines de validation. Dans des référentiels de compétences réalistes, le chevauchement des compétences rend leur utilisation fiable difficile. La réussite du vérificateur final est trop grossière tant pour l'évaluation que pour l'entraînement, car un agent peut passer par essais et erreurs en sélectionnant des compétences distractrices, en sautant des étapes requises, en composant incorrectement des workflows ou en omettant des vérifications finales. Nous présentons SkillCoach, un cadre de grilles d'évaluation auto-évolutif pour évaluer et améliorer l'utilisation agentive des compétences. SkillCoach dérive des grilles de processus ancrées sur les compétences à partir d'exécutions réelles et évalue les trajectoires selon quatre dimensions : sélection de compétences, suivi de compétences, composition de compétences et réflexion ancrée sur les compétences. Il conserve le vérificateur externe comme signal de résultat distinct, permettant de distinguer la qualité du processus du succès accidentel de la tâche. Les grilles d'évaluation évoluées servent en outre de supervision de processus pour sélectionner des trajectoires d'entraînement de haute qualité. Les expériences montrent que les grilles d'évaluation évoluées améliorent considérablement la qualité de l'évaluation, exposent des échecs masqués par la précision finale et fournissent des signaux de supervision plus forts que le filtrage par seul résultat pour améliorer l'utilisation agentive des compétences.

English

Skills are becoming a reusable operational layer for LLM agents, encoding SOPs, domain rules, tool workflows, scripts, and validation routines. In realistic skill repositories, overlapping skills make reliable skill-use difficult. Final verifier success is too coarse for both evaluation and training, since an agent may pass through trial and error while selecting distractor skills, skipping required steps, composing workflows incorrectly or omitting final checks. We introduce SkillCoach, a self-evolving rubric framework for evaluating and enhancing agentic skill-use. SkillCoach derives skill-grounded process rubrics from real rollouts and evaluates trajectories along four dimensions: skill selection, skill following, skill composition, and skill-grounded reflection. It keeps the external verifier as a separate outcome signal, allowing process quality to be distinguished from accidental task success. The evolved rubrics further serve as process supervision for selecting high-quality training trajectories. Experiments show that evolved rubrics substantially improve evaluation quality, expose failures hidden by final accuracy, and provide stronger supervision signals than outcome-only filtering for enhancing agentic skill-use.