スキル自己対戦：共進化するスキルによるLLM能力の限界突破

要旨

LLMの訓練は、手動による設計やアノテーションから、インタラクション駆動型の自己進化へと移行しつつある。しかし、既存の自己進化手法は、タスクの多様性と検証の信頼性の間に根本的なジレンマを抱えている。環境に依存する手法は正確なフィードバックを得られるものの、学習を狭い領域に制限してしまう。一方、開かれた自己生成はタスク空間を広げるが、信頼できる検証が欠如しており、誤った報酬が訓練ループに混入する恐れがある。我々は、エージェントスキルがこの緊張関係を緩和する強力な中間領域であると特定した。各スキルは特定のシナリオにおいて深く検証可能な実行を保証し、スキル間の動的なルーティングが開かれたタスクの多様性を維持する。この洞察に基づき、我々は提案者、解法者、動的スキル制御器からなる共進化フレームワークであるSkill Self-Play（Skill-SP）を導入する。これらは強化学習ループを通じて調整され、継続的な自己対戦ループの中で共進化する。提案者は動的にサンプリングされたスキルに条件付けられた困難なタスクを生成し、解法者は能力の限界を押し広げるために候補解を探索する。スキル制御器は実行フィードバックを収集し、スキルライブラリを更新・拡張する。このインタラクティブな共進化により、構造化された検証と開かれた探索の間のギャップを効果的に埋めることができる。ツール使用および推論ベンチマークにおける実証評価は、Skill-SPが堅牢な進化エンジンとして機能し、有能なバックボーンの性能上限を一貫して押し上げる一方、初期に不整合なモデルに対しても顕著な好転を触媒することを示している。コードはhttps://github.com/Qwen-Applications/skill-self-playで公開している。

English

LLM training is shifting from manual design and annotation to interaction-driven self-evolution. However, existing self-evolutionary methods face a fundamental dilemma between task diversity and verification reliability: environment-bound methods obtain precise feedback but confine learning to narrow domains, while open-ended self-generation broadens the task space but lacks reliable verification, allowing misleading rewards to pollute the training loop. We identify agent skills as a powerful middle ground to reconcile this tension: each skill ensures deep, verifiable execution in a specific scenario, while dynamic routing across skills maintains open-ended task variety. Leveraging this insight, we introduce Skill Self-Play (Skill-SP), a co-evolutionary framework comprising a proposer, a solver, and a dynamic skill controller. Orchestrated via a reinforcement learning loop, these components co-evolve in a continuous self-play loop: the proposer generates challenging tasks conditioned on dynamically sampled skills; the solver explores candidate solutions to push its capability boundaries; and the skill controller collects execution feedback to update and expand the skill library. This interactive co-evolution effectively bridges the gap between structured verification and open-ended exploration. Empirical evaluations on tool-use and reasoning benchmarks demonstrate that Skill-SP, serving as a robust evolution engine, consistently pushes the performance ceiling of competent backbones while catalyzing striking turnarounds for initially misaligned models. Our code is available at https://github.com/Qwen-Applications/skill-self-play.