SkillEvo: 다중 턴 상호작용 피드백 기반 자기 갱신 진화 경사 본 논문은 대규모 언어 모델(LLM)이 다중 턴(Multi-Turn) 상호작용 피드백을 통해 자기 주도적으로 진화할 수 있는 프레임워크인 SkillEvo를 제안한다. 기존의 미세 조정(fine-tuning) 방식은 단일 턴의 결과나 정적인 데이터셋에 의존하는 한계가 있으며, 복잡한 작업을 해결하는 과정에서 나타나는 동적 적응 능력의 향상을 반영하지 못한다. SkillEvo는 상호작용 궤적(interaction trajectory)에서 작업별 스킬(skill)을 발굴하고, 보상 신호(reward signal)와 결합하여 에이전트의 효율성을 유의미하게 향상시킨 경험 풀(experience pool)을 구축한다. 이후 이 경험 풀은 능력 변화에 맞춰 지속적으로 갱신되며, 정책(policy)을 업데이트하기 위한 경사 신호(gradient signal)를 제공한다. 이러한 자기 갱신 메커니즘을 통해 에이전트는 고정된 데이터에 의존하지 않고 지속적인 상호작용 과정에서 미세 조정되며, 각 반복 단계마다 현재 성능을 반영한 진화 경사를 형성한다. 실험 결과, SkillEvo는 다중 턴 상호작용이 요구되는 다양한 과업에서 기존 방법 대비 더 높은 작업 완료율과 적응성을 달성함을 보여준다.

초록

오늘날 에이전트 스킬은 수작업으로 작성되거나 단일 LLM 생성 패스로 만들어지며, 따라서 자신이 실제로 유발하는 상호작용 실패로부터 개선될 수 있는 폐쇄 루프를 갖지 못한다. 최근 연구는 이 루프를 닫지만, 피드백을 단일 턴 질의응답 평가에서만 끌어낸다. 그 결과 뚜렷한 비대칭성이 나타난다. 첫 번째 라운드가 단일 교환으로 드러날 수 있는 공백을 메운 뒤에는 진화 그래디언트가 감쇠하고, 여러 턴에 걸쳐서만 드러나는 결함은 보이지 않으며, 진화는 정체된다. 이러한 시스템의 거버넌스 역시 종단 간 검증 점수, 즉 저하된 후보를 거부할 수는 있지만 구조적 원인을 특정하거나 복구할 수 없는 스칼라 게이트에 의해 작동한다. 우리는 지속적 스킬 진화를 결정하는 핵심 제약이 편집 능력이나 반복 횟수가 아니라, 평가 피드백이 신뢰할 수 있는 진화 그래디언트를 계속 공급하느냐에 있다고 주장한다. 이에 따라 우리는 신뢰할 수 있는 피드백이 그래디언트를 생성하고 통제 가능한 거버넌스가 그 방향을 제약하는 SkillEvo를 제안한다. 첫 번째 구성 요소는 다중 턴 사용자 시뮬레이션을 평가 종점에서 피드백 생성기로 재구성한다. 후속 질문이 결함을 층층이 노출함으로써, 각 수정 라운드는 피드백을 소비하는 동시에 새로운 피드백을 생성한다. 두 번째 구성 요소는 스칼라 게이트의 수동적 거부를 독립적인 거버넌스 계층으로 대체한다. 이 계층은 사실성 저하와 구조적 비대화를 능동적으로 복구하여, 저하가 누적됨에 따라 그래디언트가 드리프트하는 것을 방지한다. 6개 범주의 클라우드 서비스, 9개의 프로덕션 스킬, 98개의 스킬 참조 파일에 걸쳐, SkillEvo는 자기 반영 기반 진화보다 23.0포인트, 단일 턴 QA 기반 진화보다 15.4포인트 높은 성능을 달성한다.

English

Agent Skills are today either hand-authored or produced in a single LLM generation pass, and consequently possess no closed loop through which they might improve from the interaction failures they actually cause. Recent work does close this loop, but derives its feedback from single-turn question-answering evaluation. The consequence is a sharp asymmetry: once the first round has patched the gaps that a single exchange can reveal, the evolution gradient decays, the defects that surface only across multiple turns remain invisible, and evolution stalls. Governance in these systems is likewise driven by an end-to-end verification score, a scalar gate that can reject a degraded candidate but can neither localize nor repair its structural cause. We argue that the binding constraint on sustained skill evolution is neither editing capability nor the number of iterations, but whether the evaluation feedback keeps supplying trustworthy evolution gradients. We introduce SkillEvo, in which trustworthy feedback generates the gradient and controllable governance constrains its direction. The first component recasts multi-turn user simulation from an evaluation endpoint into a feedback generator: follow-up questions expose defects layer by layer, so that every round of revision both consumes feedback and produces new feedback. The second replaces the passive rejection of a scalar gate with an independent governance layer that actively repairs factual degradation and structural bloat, preventing the gradient from drifting as degradation accumulates. Across six categories of cloud services, 9 production Skills, and 98 skill-reference files, SkillEvo surpasses self-reflection-based evolution by 23.0 points and single- turn-QA-driven evolution by 15.4 points.