스킬 자가 대결: 공진화하는 스킬을 통한 LLM 능력의 한계 확장

초록

LLM 훈련은 수동 설계 및 주석에서 상호작용 기반 자기 진화로 전환되고 있습니다. 그러나 기존의 자기 진화 방법은 작업 다양성과 검증 신뢰성 사이에서 근본적인 딜레마에 직면합니다. 환경 기반 방법은 정확한 피드백을 제공하지만 학습을 좁은 영역으로 제한하는 반면, 개방형 자기 생성은 작업 공간을 확장하지만 신뢰할 수 있는 검증이 부족하여 잘못된 보상이 훈련 루프를 오염시킬 수 있습니다. 우리는 에이전트 기술이 이러한 긴장을 조정하는 강력한 중간 지점을 제공한다고 식별합니다. 각 기술은 특정 시나리오에서 깊고 검증 가능한 실행을 보장하는 반면, 기술 간 동적 라우팅은 개방형 작업 다양성을 유지합니다. 이러한 통찰력을 활용하여 우리는 제안자, 해결사 및 동적 기술 제어기로 구성된 공진화 프레임워크인 기술 자기 대결(Skill-SP)을 소개합니다. 강화 학습 루프를 통해 조정된 이 구성 요소들은 지속적인 자기 대결 루프에서 공진화합니다. 제안자는 동적으로 샘플링된 기술에 기반하여 도전적인 작업을 생성하고, 해결사는 자신의 능력 경계를 확장하기 위해 후보 솔루션을 탐색하며, 기술 제어기는 실행 피드백을 수집하여 기술 라이브러리를 업데이트하고 확장합니다. 이러한 상호작용적 공진화는 구조화된 검증과 개방형 탐색 간의 격차를 효과적으로 메웁니다. 도구 사용 및 추론 벤치마크에 대한 실증 평가는 Skill-SP가 강력한 진화 엔진으로서 유능한 백본의 성능 한계를 지속적으로 높이는 동시에 초기에 정렬되지 않은 모델에 대해 놀라운 반전을 촉진함을 보여줍니다. 우리의 코드는 https://github.com/Qwen-Applications/skill-self-play에서 확인할 수 있습니다.

English

LLM training is shifting from manual design and annotation to interaction-driven self-evolution. However, existing self-evolutionary methods face a fundamental dilemma between task diversity and verification reliability: environment-bound methods obtain precise feedback but confine learning to narrow domains, while open-ended self-generation broadens the task space but lacks reliable verification, allowing misleading rewards to pollute the training loop. We identify agent skills as a powerful middle ground to reconcile this tension: each skill ensures deep, verifiable execution in a specific scenario, while dynamic routing across skills maintains open-ended task variety. Leveraging this insight, we introduce Skill Self-Play (Skill-SP), a co-evolutionary framework comprising a proposer, a solver, and a dynamic skill controller. Orchestrated via a reinforcement learning loop, these components co-evolve in a continuous self-play loop: the proposer generates challenging tasks conditioned on dynamically sampled skills; the solver explores candidate solutions to push its capability boundaries; and the skill controller collects execution feedback to update and expand the skill library. This interactive co-evolution effectively bridges the gap between structured verification and open-ended exploration. Empirical evaluations on tool-use and reasoning benchmarks demonstrate that Skill-SP, serving as a robust evolution engine, consistently pushes the performance ceiling of competent backbones while catalyzing striking turnarounds for initially misaligned models. Our code is available at https://github.com/Qwen-Applications/skill-self-play.