SkillCoach: Rúbricas Auto-Evolutivas para la Evaluación y Mejora del Uso de Habilidades Agentivas

Resumen

Las habilidades se están convirtiendo en una capa operativa reutilizable para los agentes de LLM, codificando SOP, reglas de dominio, flujos de trabajo de herramientas, scripts y rutinas de validación. En repositorios de habilidades realistas, la superposición de habilidades dificulta el uso confiable de las mismas. El éxito del verificador final es demasiado burdo tanto para la evaluación como para el entrenamiento, ya que un agente puede superar mediante prueba y error mientras selecciona habilidades distractoras, omitiendo pasos requeridos, componiendo flujos de trabajo incorrectamente o saltándose verificaciones finales. Presentamos SkillCoach, un marco de rúbrica autoevolutivo para evaluar y mejorar el uso de habilidades por parte de agentes. SkillCoach deriva rúbricas de proceso basadas en habilidades a partir de despliegues reales y evalúa trayectorias en cuatro dimensiones: selección de habilidades, seguimiento de habilidades, composición de habilidades y reflexión basada en habilidades. Mantiene el verificador externo como una señal de resultado separada, permitiendo distinguir la calidad del proceso del éxito accidental de la tarea. Las rúbricas evolucionadas sirven además como supervisión de proceso para seleccionar trayectorias de entrenamiento de alta calidad. Los experimentos muestran que las rúbricas evolucionadas mejoran sustancialmente la calidad de la evaluación, exponen fallos ocultos por la precisión final y proporcionan señales de supervisión más sólidas que el filtrado solo por resultado para mejorar el uso de habilidades por parte de los agentes.

English

Skills are becoming a reusable operational layer for LLM agents, encoding SOPs, domain rules, tool workflows, scripts, and validation routines. In realistic skill repositories, overlapping skills make reliable skill-use difficult. Final verifier success is too coarse for both evaluation and training, since an agent may pass through trial and error while selecting distractor skills, skipping required steps, composing workflows incorrectly or omitting final checks. We introduce SkillCoach, a self-evolving rubric framework for evaluating and enhancing agentic skill-use. SkillCoach derives skill-grounded process rubrics from real rollouts and evaluates trajectories along four dimensions: skill selection, skill following, skill composition, and skill-grounded reflection. It keeps the external verifier as a separate outcome signal, allowing process quality to be distinguished from accidental task success. The evolved rubrics further serve as process supervision for selecting high-quality training trajectories. Experiments show that evolved rubrics substantially improve evaluation quality, expose failures hidden by final accuracy, and provide stronger supervision signals than outcome-only filtering for enhancing agentic skill-use.