SKILLER: 小規模言語モデルにおける再利用可能なスキル抽出のための言語レベルの強化学習

要旨

エージェントスキルは、手続き的知識とドメイン専門知識をパッケージ化するための標準化された形式であり、エージェントハーネスシステム内において、反復可能かつ高品質なタスク実行のために言語モデルの行動空間を継続的に制約する必須のメカニズムとして機能する。しかしながら、強力なクローズドソースモデルは高い推論コストを伴うため、CodexやOpenClawといった現在普及しているエージェントハーネスは、これらのスキルを実世界のタスク遂行に展開する際に、依然として法外に高価である。消費者向けGPU上で展開可能なオープンソースモデルの急速な能力向上は、スキルベースの行動制約を活用することでこれらのコストを大幅に削減する魅力的な機会を提供する。それにもかかわらず、そのようなコンパクトなモデルに特化して調整された効果的なスキルを自動生成することは、依然として重要な実践的課題である。この課題に対処するため、我々はSKILLERを提案する。これは、小型モデル向けに実行器固有のスキルを自動生成するよう設計された自然言語駆動の強化学習フレームワークであり、強力なモデルをアクターおよびクリティックとして用い、小型モデルのエージェントシステムを環境として扱い、すべての強化学習信号を完全に自然言語のみを介して伝播する。Qwen3.5-9BおよびQwen3.5-4Bを用いた5つの関連ベンチマークにわたる広範な実験評価により、SKILLERが3つのオープンソースおよび1つのクローズドソースのスキル生成または進化手法を上回り、9Bモデルでは4.3〜20.4パーセンテージポイント、4Bモデルでは1.8〜13.3ポイントの絶対的な向上を達成し、さらにSkillsBenchの単一スキルタスクにおいて強力なクローズドソースモデルの性能に顕著に匹敵することを実証する。プロジェクトはhttps://github.com/DANG-ai/SKILLERで公開されている。

English

Agent skills represent a standardized format for packaging procedural knowledge and domain expertise, serving within agent harness systems as an essential mechanism to continually constrain a language model's behavior space for repeatable, high-quality task execution. However, because strong closed-source models entail high inference costs, current popular agent harnesses, such as Codex and OpenClaw, remain prohibitively expensive when deploying these skills to accomplish real-world tasks. The rapid capability enhancement of open-source models deployable on consumer-grade GPUs presents a compelling opportunity to drastically reduce these costs by leveraging skill-based behavioral constraints. Nevertheless, automatically generating effective skills tailored specifically for such compact models remains a significant practical challenge. To address this, we propose SKILLER, a natural-language-driven reinforcement learning framework designed to automatically generate executor-specific skills for small models, which employs a strong model as the actor and critic, treats the small-model agent system as the environment, and propagates all reinforcement learning signals entirely via natural language. Extensive experimental evaluations across five relevant benchmarks using Qwen3.5-9B and Qwen3.5-4B demonstrate that SKILLER outperforms three open-source and one closed-source skill generation or evolution methods, achieving absolute gains ranging from 4.3 to 20.4 percentage points for the 9B model and 1.8 to 13.3 points for the 4B model, while remarkably matching the performance of strong closed-source models on single-skill tasks in SkillsBench. The project is available at https://github.com/DANG-ai/SKILLER.