Skill0.5: Gezamenlijke Vaardigheidsinternalisatie en -benutting voor Out-of-Distribution Generalisatie in Agentisch Versterkingsleren

Samenvatting

Het uitrusten van grote taalmodellen met expliciete vaardigheden is naar voren gekomen als een veelbelovend paradigma voor het mogelijk maken van autonome agents om complexe taken op te lossen. Agentvaardigheden kunnen inherent worden onderverdeeld in algemene vaardigheden voor brede cognitieve overdracht en taakspecifieke vaardigheden voor dynamische uitvoering. Echter, bestaande op vaardigheden gebaseerde reinforcement learning (RL) methoden dwingen doorgaans een rigide keuze af tussen volledige externalisatie, wat leidt tot prohibitieve contextoverhead, en volledige internalisatie, wat risico's op overfitting en kennisconflicten met zich meebrengt. Om dit dilemma aan te pakken, stellen we Skill0.5 voor, een nieuw agentisch RL-raamwerk dat expliciet onderscheid maakt tussen vaardigheidsbehandelingen door algemene vaardigheidsinternalisatie te combineren met taakspecifiek vaardigheidsgebruik. Aangedreven door een dynamische, moeilijkheidsbewuste router, stroomt Skill0.5 taken in verschillende beheersingsniveaus om op maat gemaakte optimalisatiestrategieën toe te passen: het internaliseert algemene vaardigheden via bevoorrechte distillatie om een cognitieve basis voor moeilijke taken op te bouwen, terwijl het diagnostische probing gebruikt op eenvoudige taken om shortcuts te bestraffen en specifiek vaardigheidsgebruik af te dwingen. Experimenten op ALFWorld en WebShop tonen aan dat Skill0.5 zowel geheugen-gebaseerde als vaardigheids-gebaseerde RL-baselines overtreft, wat leidt tot prestatieverbeteringen in zowel in-distributie- als out-of-distributie-scenario's.

English

Equipping large language models with explicit skills has emerged as a promising paradigm for enabling autonomous agents to solve complex tasks. Agent skills can be inherently divided into general skills for broad cognitive transfer and task-specific skills for dynamic execution. However, existing skill-based reinforcement learning (RL) methods typically force a rigid choice between full externalization, which incurs prohibitive context overhead, and full internalization, which risks overfitting and knowledge conflicts. To address this dilemma, we propose Skill0.5, a novel agentic RL framework that explicitly differentiates skill treatments by combining general skill internalization with task-specific skill utilization. Driven by a dynamic, difficulty-aware router, Skill0.5 streams tasks into distinct mastery tiers to apply tailored optimization strategies: it internalizes general skills via privileged distillation to build a cognitive foundation for hard tasks, while using diagnostic probing on easy tasks to penalize shortcuts and enforce specific skill utilization. Experiments on ALFWorld and WebShop demonstrate that Skill0.5 outperforms both memory-based and skill-based RL baselines, yielding performance improvements across both in-distribution and out-of-distribution scenarios.