SkillCoach: 에이전트적 기술 사용 평가 및 향상을 위한 자기 진화적 루브릭

초록

스킬은 LLM 에이전트의 재사용 가능한 운영 계층이 되어, SOP(표준 운영 절차), 도메인 규칙, 도구 워크플로우, 스크립트, 검증 루틴을 인코딩한다. 실제 스킬 저장소에서는 중복되는 스킬들로 인해 신뢰할 수 있는 스킬 사용이 어렵다. 최종 검증기의 성공 여부만으로는 평가와 훈련 모두에 지나치게 거친 지표인데, 에이전트가 시행착오를 거쳐 방해 요소가 되는 스킬을 선택하거나, 필수 단계를 생략하거나, 워크플로우를 잘못 구성하거나, 최종 점검을 누락하면서도 작업을 통과할 수 있기 때문이다. 우리는 에이전트의 스킬 사용을 평가하고 향상시키기 위한 자기 진화형 평가 기준(rubric) 프레임워크인 SkillCoach를 소개한다. SkillCoach는 실제 롤아웃(rollout) 데이터로부터 스킬 기반 프로세스 평가 기준을 도출하고, 네 가지 차원(스킬 선택, 스킬 준수, 스킬 구성, 스킬 기반 반성)에 따라 궤적을 평가한다. 외부 검증기는 별도의 결과 신호로 유지하여, 프로세스 품질이 우연한 작업 성공과 구별되도록 한다. 진화된 평가 기준은 고품질 훈련 궤적을 선별하기 위한 프로세스 감독(process supervision)으로도 활용된다. 실험 결과, 진화된 평가 기준은 평가 품질을 크게 향상시키고, 최종 정확도로는 드러나지 않는 실패를 노출하며, 에이전트의 스킬 사용을 강화하기 위해 결과 기반 필터링만 사용하는 것보다 더 강력한 감독 신호를 제공하는 것으로 나타났다.

English

Skills are becoming a reusable operational layer for LLM agents, encoding SOPs, domain rules, tool workflows, scripts, and validation routines. In realistic skill repositories, overlapping skills make reliable skill-use difficult. Final verifier success is too coarse for both evaluation and training, since an agent may pass through trial and error while selecting distractor skills, skipping required steps, composing workflows incorrectly or omitting final checks. We introduce SkillCoach, a self-evolving rubric framework for evaluating and enhancing agentic skill-use. SkillCoach derives skill-grounded process rubrics from real rollouts and evaluates trajectories along four dimensions: skill selection, skill following, skill composition, and skill-grounded reflection. It keeps the external verifier as a separate outcome signal, allowing process quality to be distinguished from accidental task success. The evolved rubrics further serve as process supervision for selecting high-quality training trajectories. Experiments show that evolved rubrics substantially improve evaluation quality, expose failures hidden by final accuracy, and provide stronger supervision signals than outcome-only filtering for enhancing agentic skill-use.