SKILLER: 소형 언어 모델에서 재사용 가능한 스킬 추출을 위한 언어 수준 강화 학습

초록

에이전트 스킬은 절차적 지식과 도메인 전문 지식을 패키징하는 표준화된 형식으로, 에이전트 하네스 시스템 내에서 언어 모델의 행동 공간을 지속적으로 제약하여 반복 가능하고 고품질의 작업 실행을 보장하는 핵심 메커니즘으로 기능한다. 그러나 강력한 폐쇄형 소스 모델은 높은 추론 비용을 수반하므로, Codex 및 OpenClaw와 같은 현재 널리 사용되는 에이전트 하네스는 이러한 스킬을 실세계 작업에 배포할 때 여전히 사용하기 어려울 정도로 높은 비용이 든다. 소비자용 GPU에서 실행 가능한 오픈소스 모델의 급속한 역량 향상은 스킬 기반 행동 제약을 활용하여 이러한 비용을 획기적으로 줄일 수 있는 매력적인 기회를 제공한다. 그럼에도 불구하고, 그러한 소형 모델에 특화된 효과적인 스킬을 자동으로 생성하는 것은 여전히 중요한 실질적 과제로 남아 있다. 이 문제를 해결하기 위해, 우리는 소형 모델을 위한 실행자 특화 스킬을 자동 생성하도록 설계된 자연어 기반 강화 학습 프레임워크인 SKILLER를 제안한다. SKILLER는 강력한 모델을 행위자(actor)와 비평가(critic)로 사용하고, 소형 모델 에이전트 시스템을 환경으로 간주하며, 모든 강화 학습 신호를 전적으로 자연어를 통해 전파한다. Qwen3.5-9B 및 Qwen3.5-4B를 사용한 다섯 개의 관련 벤치마크에 걸친 광범위한 실험 평가를 통해, SKILLER가 세 가지 오픈소스 및 한 가지 폐쇄형 소스 스킬 생성 또는 진화 방법을 능가함을 입증했다. 구체적으로 9B 모델의 경우 4.3~20.4퍼센트 포인트, 4B 모델의 경우 1.8~13.3퍼센트 포인트의 절대적 성능 향상을 달성했으며, SkillsBench의 단일 스킬 작업에서는 강력한 폐쇄형 소스 모델의 성능에 놀랍도록 필적하는 결과를 보였다. 프로젝트는 https://github.com/DANG-ai/SKILLER에서 확인할 수 있다.

English

Agent skills represent a standardized format for packaging procedural knowledge and domain expertise, serving within agent harness systems as an essential mechanism to continually constrain a language model's behavior space for repeatable, high-quality task execution. However, because strong closed-source models entail high inference costs, current popular agent harnesses, such as Codex and OpenClaw, remain prohibitively expensive when deploying these skills to accomplish real-world tasks. The rapid capability enhancement of open-source models deployable on consumer-grade GPUs presents a compelling opportunity to drastically reduce these costs by leveraging skill-based behavioral constraints. Nevertheless, automatically generating effective skills tailored specifically for such compact models remains a significant practical challenge. To address this, we propose SKILLER, a natural-language-driven reinforcement learning framework designed to automatically generate executor-specific skills for small models, which employs a strong model as the actor and critic, treats the small-model agent system as the environment, and propagates all reinforcement learning signals entirely via natural language. Extensive experimental evaluations across five relevant benchmarks using Qwen3.5-9B and Qwen3.5-4B demonstrate that SKILLER outperforms three open-source and one closed-source skill generation or evolution methods, achieving absolute gains ranging from 4.3 to 20.4 percentage points for the 9B model and 1.8 to 13.3 points for the 4B model, while remarkably matching the performance of strong closed-source models on single-skill tasks in SkillsBench. The project is available at https://github.com/DANG-ai/SKILLER.