SkillCoach: Selbstentwickelnde Rubriken zur Bewertung und Verbesserung der agentischen Fertigkeitsnutzung

Zusammenfassung

Fähigkeiten entwickeln sich zu einer wiederverwendbaren operativen Ebene für LLM-Agenten, die SOPs, Domänenregeln, Tool-Workflows, Skripte und Validierungsroutinen kodieren. In realistischen Skill-Repositorien erschweren überlappende Fähigkeiten eine zuverlässige Nutzung. Die finale Erfolgsprüfung durch einen Verifizierer ist sowohl für die Evaluierung als auch für das Training zu grob, da ein Agent durch Versuch und Irrtum gehen kann, während er Ablenkungs-Skills auswählt, erforderliche Schritte auslässt, Workflows falsch zusammenstellt oder finale Überprüfungen unterlässt. Wir stellen SkillCoach vor, ein sich selbst weiterentwickelndes Rubriken-Framework zur Bewertung und Verbesserung der agentischen Skill-Nutzung. SkillCoach leitet skill-basierte Prozessrubriken aus realen Rollouts ab und bewertet Trajektorien entlang vier Dimensionen: Skill-Auswahl, Skill-Befolgung, Skill-Komposition und skill-basierte Reflexion. Dabei bleibt der externe Verifizierer als separates Ergebnissignal erhalten, sodass Prozessqualität von zufälligem Aufgabenerfolg unterschieden werden kann. Die weiterentwickelten Rubriken dienen zudem als Prozessüberwachung zur Auswahl hochwertiger Trainings-Trajektorien. Experimente zeigen, dass weiterentwickelte Rubriken die Evaluierungsqualität erheblich verbessern, durch finale Genauigkeit verdeckte Fehler aufdecken und stärkere Überwachungssignale liefern als eine rein ergebnisbasierte Filterung zur Verbesserung der agentischen Skill-Nutzung.

English

Skills are becoming a reusable operational layer for LLM agents, encoding SOPs, domain rules, tool workflows, scripts, and validation routines. In realistic skill repositories, overlapping skills make reliable skill-use difficult. Final verifier success is too coarse for both evaluation and training, since an agent may pass through trial and error while selecting distractor skills, skipping required steps, composing workflows incorrectly or omitting final checks. We introduce SkillCoach, a self-evolving rubric framework for evaluating and enhancing agentic skill-use. SkillCoach derives skill-grounded process rubrics from real rollouts and evaluates trajectories along four dimensions: skill selection, skill following, skill composition, and skill-grounded reflection. It keeps the external verifier as a separate outcome signal, allowing process quality to be distinguished from accidental task success. The evolved rubrics further serve as process supervision for selecting high-quality training trajectories. Experiments show that evolved rubrics substantially improve evaluation quality, expose failures hidden by final accuracy, and provide stronger supervision signals than outcome-only filtering for enhancing agentic skill-use.